扩散模型的校正训练
事件
扩散模型在迭代采样时会出现误差累积，根源在于曝光偏差：去噪器训练时输入的是真实图像加噪后的结果，推理时输入却来自自身前几步的不完美预测，这种输入在训练中从未见过。研究者为此引入一个校正步骤，试图缩小训练与推理之间的差距。校正器以基础模型的预测为输入，并针对同一真实目标进行训练，使校正成为一个显式的学习任务，训练输入由基础模型提供。
采样时，每个去噪步骤都会迭代细化去噪器的干净样本预测，从而在中间步骤纠正预测，防止早期伪影残留到最终样本。虽然校正器只在基础去噪器的预测上训练，但推理时可以反复应用于自身输出，进一步改善结果。该框架在DiT、SiT和JiT上均带来样本质量的显著提升，同时基本保持多样性。
在无引导生成尤其是无条件生成这一长期困难的场景中，该方法大幅改善了此前报告的FID分数，性能可与无分类器引导（CFG）竞争；将校正与CFG结合还能进一步提升多样性，并减少CFG常见的过饱和问题。研究还表明，校正带来的额外推理开销可以通过将细化后的预测蒸馏回基础扩散模型来摊销，在不增加推理时间开销的情况下保留质量收益。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*