我们对LLM有何期待？LLM基准设计图谱

事件

一项研究对arXiv上2022年1月至2026年8月间提出或更新评测资源的14767篇论文进行了系统梳理，绘制出大语言模型基准设计的演变图谱。研究采用分阶段筛选与自动化全文编码，考察目标系统与领域、评测材料与条件、评分机制三方面的变化。

结果显示，评测重点正从静态知识问答转向行动、交互与专业应用场景，传统设计元素与新兴设计元素经常并存。模型参与评测的方式发展并不均衡：基于LLM的评分在智能体与非智能体两类基准中都在增长，但由模型生成评测材料的情况在近期批次中并未出现同等持续的上升。

这些发现揭示了公共研究如何把对模型能力的期待转化为具体测试与成功标准。更值得关注的是，当AI同时参与构建测试、执行任务和评判回答时，评测规模扩大究竟带来更多独立证据，还是可能复制参与模型自身的偏好与盲区，成为基准设计需要直面的问题。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：arXiv cs.AI*