人工性的首次考试：面向超级智能的LLM参照C测试
事件
在AI快速发展的背景下，任何以人类或当前AI系统校准难度的基准测试都会很快陷入循环或饱和。如何评估可能超越现有机器和出题人的机器，成为亟待解决的问题。研究者提出一种基于逆问题的思路：难度取决于给定观测和先验知识下底层机制的复杂度。Levin的Kt是可计算的Kolmogorov复杂度变体，为这种难度设定了理论上限，平衡了机制的最简表示编码与运行该机制所需时间步长的对数。
此前基于Levin Kt的测试（如原始C测试）依赖极简的通用图灵机，表示能力有限且没有先验知识。而推理型大语言模型本身就是通用图灵机，将人类文化知识作为先验，并用提示词作为自然语言程序。本文提出首个以LLM作为表示机器的Levin Kt测试，能够以比特为比例尺度生成高难度新题，且在任何人类或前沿模型解决之前完成认证。研究形式化了度量方法，设计了轻量级生成与认证流程，并探讨了参照机能力以及考官与考生之间差距的影响。
研究者生成首批认证题目并对12个LLM进行测试，得到的智能体特征曲线随难度下降，一直延伸到未知的高难度区域，即“超级智能窗口”——这些题目可被认证，却超出数代前沿智能的解决能力。该工作为评估未来超智能系统提供了可扩展、可认证的新范式，值得关注。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*