Ai2 / Allen Institute for AI·2026-09-01 16:00AI 评分52

Ai2 发布 BenchMIRT 方法，在题目层面审计 LLM 基准实际测量的能力

BenchMIRT: What are LLM benchmarks actually measuring?

AI 导读

Ai2 推出 BenchMIRT，一种基于多维项目反应理论（MIRT）的 LLM 基准审计方法，在单个题目层面估计模型能力与题目难度。方法基于 100 个 LLM、16 个基准和超过 34K 道题目的结果训练，未预设各基准的用途，独立恢复出安全与通用推理两个主导维度。