OpenFrontiers:开放研究问题集合与科学再发现基准
事件
研究团队发布 OpenFrontiers,一个跨学科资源,由两部分组成:一是结构化开放研究问题语料库,记录 12151 个问题的陈述、背景、研究进展等信息;二是数学领域的回顾性基准,包含 200 道题,其中 110 道已于 2026 年被解决、90 道仍开放。每题都配有 Lean 4 形式化陈述,并经过自动检测工具与两次独立评审校验,其中质量更高的 50 题构成 HQ-50 子集。
评估协议在隔离沙箱中用两个独立检查器为形式化证明打分,设置三种条件:闭卷、冻结检索和实时联网;并在统一预算下测试了七个大模型智能体。结果显示,闭卷条件下的“再发现”极为罕见,40 道已解题中最多只有 7 道成功;联网条件下的成功则大多只是检索到已发表的解答。
OpenFrontiers 的价值在于把广泛的研究问题语料与带标准答案、可形式化评分的评测子集连接起来,为衡量模型的研究级再发现能力、追踪其向尚未解决的科学问题推进的程度提供了可复现基础。数据集与基准已公开在 Hugging Face。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:arXiv cs.AI*