语言模型的安全纠错：冻结基座调整与能力保持

事件

一项研究探讨了能否在不损害基座能力的前提下，用小型纠错模块修正冻结语言模型的输出错误。研究者提出 CRN v2，这是一个轻量级的 logit 层纠错模块，可训练参数约 3400 万，仅占 46.5 亿文本模块的 0.73%，叠加在完全冻结的 Gemma 4 E2B 模型之上。基座模型始终不更新，只有纠错模块通过监督微调加无参考 DPO 在 83400 对纠错数据上学习。

在覆盖事实、算术和隐式目标推理的 60 题领域考试中，CRN v2 纠正了 53.3% 的基座错误（改写变体为 43.3%），同时在 MMLU、BoolQ 等能力基准上未见退化。作为对比，参数量匹配的 LoRA 基线纠错率达 83.3%，但在相同基准上损失 30% 至 75% 的能力，凸显纠错与能力保持之间的权衡。消融实验显示，KL 保持项（λ=0.1）至关重要，降至 0.01 时纠错率跌至 35.0%。

其他替代方案均未超越 logit 纠错：早期层隐藏状态注入变体达到 50.0%/55.8%，更浅层注入降至 30.0%/28.3%，多深度 logit 纠错仅 40%，延长训练也停留在 53.3%。这表明在冻结基座上加装轻量纠错模块，是兼顾纠错效果与能力保持的可行路径，对需要安全部署大模型、又不想重训基座的团队具有参考价值。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：arXiv cs.AI*