基于多目标强化学习与大语言模型的帕累托最优RTL代码生成

事件

现有基于可验证奖励的强化学习方法能让大语言模型从自然语言规格生成高质量RTL电路，但通常把功耗、性能、面积（PPA）多个目标聚合成单一标量奖励，难以同时产出低功耗、低时延、小面积等不同权衡下的多样化帕累托最优解。实际设计中各目标的重要性随产品需求和约束变化，因此获得多样且高质量的候选电路集合，能让设计者事后挑选合适的折中方案。

该研究首次提出面向大模型电路生成的学习方法，优化的不是单个电路的质量，而是多次生成所得整个电路集合在PPA目标空间中的质量与多样性。方法包含两部分：一是基于生成的训练流程，把提升整个帕累托解集的覆盖度重构为序列化电路生成问题；二是基于超体积贡献（HVC）的奖励函数，衡量每个生成电路对帕累托前沿的贡献大小。

在RTLLM v2基准上的评测显示，该方法相对未做PPA优化的基线，超体积相对提升13.3个百分点；相对单目标强化学习方法提升14.4个百分点，并在电路多样性上同样占优。这意味着芯片前端设计有望借助大模型一次性获得多组可选的RTL实现，减少反复调参试错，对关注PPA权衡的硬件设计团队具有直接参考价值。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：arXiv cs.AI*