EliteTable:面向可执行控制策略的自改进程序搜索
事件
EliteTable 是一种由大语言模型引导的自改进程序搜索算法,其核心是维护一张固定容量的高分方案表,用表中的优秀解来指导新方案的生成、对已有方案的编辑以及多个方案的重新组合。研究在六个 Gymnasium 控制任务上进行了评估,每个任务运行十代、每代五十个候选槽位,并对每个任务独立初始化搜索十次。
结果显示,六个任务的候选得分中位数从第一代到最终代均有上升,其中五个任务被选中优胜者的搜索得分中位数上升。在 CartPole-v1 上,十次搜索的优胜者都在第一代就达到了搜索得分上限。在留出端点评估中,六个任务里有四个的十组配对端点全部改善;BipedalWalker-v3 和 CarRacing-v3 虽有提升但未达到报告目标。
值得注意的是,Acrobot-v1 的十次搜索中有六次在留出回合上出现下降,配对变化中位数为负。整体结果记录了程序搜索过程中的改进,以及部分任务中优胜者收益向新回合的迁移。作者指出,仍需通过对比实验和消融实验来确定 EliteTable 的相对性能及其各组件的贡献。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:arXiv cs.AI*