基准饱和后如何评估模型能力
事件
随着AI能力快速提升，许多基准测试正趋于饱和。当多个模型接近满分时，基准便失去区分能力，也难以支撑AI安全评估和前沿政策制定。但基准题目产生的信息远不止分数本身——每个模型的完整解题记录都蕴含丰富信号。研究者提出，即使基准分数已饱和，这些解题记录仍可用于评估模型能力。
研究通过历史基准和模型发布数据回溯模拟饱和场景，测试仅使用饱和基准中正确解题记录的方法，能否预测模型在未饱和的留出题目上的表现。研究评估了三种代表性方案：成对评判、单记录绝对评分，以及基于确定性记录特征或嵌入的预测。结果显示，饱和记录中仍保留超越基准准确率的能力信息，其中成对评判表现最佳，相比仅用饱和基准分数的基线，预测误差降低5.3倍。这些能力相关信息分布在记录各段落中，但集中在推理和工具调用等特定信息通道。
不过，这些方法的预测能力并非总能跨分布迁移，例如会低估2025年初首批推理模型的能力。研究表明，饱和基准的解题记录中仍保留可预测能力的信号，但要延长现有基准的使用寿命，需要设计能稳健提取这些信号的方法。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*