游戏中的规模化：面向多样化虚拟世界具身智能体的持续预训练

事件

一项针对具身智能体的受控研究系统考察了持续预训练在虚拟世界中的规模化规律。研究覆盖120种训练配置，模型规模从0.8B到27B共四档，数据预算从50小时到1600小时共六档，数据混合从仅含《我的世界》到多世界语料共五种，并通过三级验证损失和游戏基准测试评估性能与泛化能力。

结果显示，增加数据量能提升同语料世界中的表现；提高数据多样性有助于迁移到相近世界，但对远距离世界的增益有限；增大模型规模可提升数据效率，但在单一世界训练下对远距离世界的泛化反而更差。研究还观察到两个阶段：早期接口阶段带来广泛的跨世界收益，后期世界阶段收益收窄至同语料及相关世界，并据此拟合出验证损失与数据量、多样性、模型规模之间的经验缩放律。

在3D虚拟世界中，这些模型的表现可与《我的世界》专用模型及前沿模型竞争，在实时场景中表现最佳。但模仿学习的局限和远距离世界的持续差距表明，要构建通用具身智能体，仅靠持续预训练还不够，需要更丰富的训练阶段。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：arXiv cs.AI*