智能体数据科学中的沉默失败
事件
大语言模型大幅降低了写代码的门槛，也催生了从任务定义到模型开发全流程自动化的数据科学智能体。现有评估主要看下游预测性能和代码正确性，只能提供初步的能力判断。研究者认为，这种评估方式忽略了数据科学的基本原则，即方法论层面的数据科学知识与领域知识，因而会掩盖数据泄漏、验证方式不当等失败模式，阻碍稳健智能体系统的开发。
研究从三个角度评估智能体数据科学：一是对220个数据科学任务中常见智能体框架和模型的失败模式进行大规模分析；二是一套可复用、可扩展的测试套件，用精选任务在受控条件下检验六类特定失败；三是对比Kaggle竞赛中智能体流程与专家方案的定性评估。结果显示，无论智能体框架多复杂、模型能力多强，多数智能体方案都至少包含一种失败模式。研究还发现，数据泄漏失败的发生率与预测性能呈正相关，这进一步说明只看准确率远远不够。
定性分析表明，与竞赛获胜的数据科学家相比，数据科学智能体普遍缺乏问题解决的创造力和领域知识。研究者主张，这类有原则的失败模式分析应成为智能体数据科学评估的必备部分，相关发现对构建可信的智能体数据科学流程至关重要。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*