自动化科学机器学习:前沿智能体能否在真实场景中翻越科学高峰?
事件
研究团队提出 Agent4Sci,一个面向科学机器学习的长周期测试平台,用于衡量当前前沿编程智能体在真实条件下能把已发表的最优科学模型推进多远。该平台覆盖 11 个领域的 20 个基准,不采用排行榜式排名,而是考察智能体能在这些任务上取得何种进展、又在哪些方面存在不足。
实验显示,今天的前沿智能体在全部基准上都超越了已发表最优结果,其中 Claude Opus 取得 10.4% 的平均相对提升,且没有运行被标记为学术不端。不过这些增益几乎全部来自一套机器学习工程技巧,而非研究层面的洞察。轨迹分析揭示出三类反复出现的局限:新颖性判断失准、资源利用不足,以及迅速退化为局部工程试错。
为缓解这些问题,团队加入轻量级插件技能,分别用于研究构思、实验管理和定时检查清单,使 Claude Opus 从 10.4% 提升到 20.1%,Codex 从 4.4% 提升到 8.1%,同时产生更多样、更贴合领域的干预。Agent4Sci 为社区提供了追踪并推动前沿智能体从机器学习工程走向领域洞察的手段,代码与数据已在 GitHub 和 Hugging Face 开放。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:arXiv cs.AI*