正则化强调时序差分学习：恒定步长下的稳定性

事件

强调时序差分学习（ETD）能稳定离策略TD更新的期望并改变其投影几何，但这两点都无法决定恒定步长下的采样动力学。研究者构造了一个遍历的两状态反例：ETD均值映射收缩，而采样乘积却具有正的最大Lyapunov指数。再生周期分析将这一符号与后续迹的无限方差区分开来。

为此提出正则化强调TD（RETD）：一种归一化的一阶冲击后修复方法，保持迹和重要性比不变，将强调TD信号存入带泄漏的标量状态，并释放延迟修正。RETD的原始均衡是ETD均衡的仿射平移，单正则化与双正则化读出可精确恢复ETD不动点。研究证明了调和递减步长下的几乎必然收敛，以及基于马尔可夫随机乘积界的条件恒定步长矩收缩结果。

RETD在两状态构造和一个Baird点上具有可认证的负指数，而Baird点的正ETD符号仍为数值结果。配对的一万次运行实验验证了两种分离、不动点恢复、非单调稳定区域及任务依赖性。RETD改变的是冲击后动力学，并不降低共享的后续迹方差。

来源

本条目由采集管线自动抓取并发布，完整内容见下方来源链接。

*采集源：arXiv cs.AI*