文章总结与翻译
一、主要内容
该研究聚焦深度强化学习(DRL)中普遍存在的高估偏差问题,尤其针对含分布外(OOD)数据的离线数据集和复杂任务场景。现有集成Q学习方法虽通过多Q函数多样性缓解偏差,但仅依赖网络初始化或启发式方法保证多样性,缺乏理论层面的独立性保障。
为此,研究提出基于随机矩阵理论和尖峰随机模型的Q集成独立性正则化方法(SPQR):
- 核心原理:将Q集成的特征值分布与理想独立集成的维格纳半圆分布(Wigner’s semicircle distribution)进行KL散度惩罚,通过最小化该散度确保Q集成的独立性,无需假设Q函数的先验分布(如均匀分布)。
- 算法实现:构建对称Q矩阵并归一化,计算其经验谱密度(ESD)与维格纳半圆分布的KL散度作为正则化损失,嵌入现有集成Q学习算法(如SAC-Ens、REDQ、SAC-Min、CQL等)。
- 实验验证:在在线(MuJoCo)和离线(D4RL Gym、Franka Kitchen、Antmaze)RL基准任务中验证,SPQR在性能上优于基线算法,同时减少集成网络数量(如Hopper任务中仅需SAC-Min 10%的网络规模),提升计算效率;且与EDAC等多样化方法正交互补,组合使用可进一步优化性能。
二、创新点
- 首次将随机矩阵理论和尖峰随机模型引入DRL,提出可处理的Q集成独立性损失函数,从理论上保证Q函数间的独立性,突破现有启发式方法的局限
订阅专栏 解锁全文
1307



被折叠的 条评论
为什么被折叠?



