AlphaDiana：面向可验证推理任务中智能体的测量系统
事件
AlphaDiana 是一个面向智能体的测量系统，由数据集、智能体、环境和评分器四个模块化接口组成。它保留执行框架原生的控制循环，同时将文件复用与记忆保留分开控制，从而支持对完整智能体进行宏观分析，也能在匹配条件下对工具、技能、记忆等组件做微观干预。研究团队用三种开源模型和三种开源执行框架，在五个基于答案的基准上展开测试，其中两种模型还额外测试了两个交互式基准。
关键发现是，执行框架并不能稳定提升推理准确率：模型单独无法解决的问题上获得的增益，可能被它原本能正确回答、但引入工具后反而答错的问题所抵消。这种不一致也延伸到组件干预层面，无论是技能指导还是保留历史记忆，都无法可靠地提升准确率。此外，行为与输出 token 使用必须结合正确率来评估：低 token 熵可能伴随错误答案，而每次执行输出更少，在准确率下降时反而可能意味着每个正确答案消耗更多输出 token。
AlphaDiana 将答案正确性和执行状态与轨迹、资源记录关联起来，便于在共享任务与资源策略下比较不同智能体并诊断失败原因。对智能体开发者而言，这意味着不能默认叠加工具、技能或记忆就能带来收益，而需要在受控条件下逐项测量，才能判断哪些组件真正有效。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*