文章核心总结与创新点
主要内容
本文针对离线安全强化学习(offline safe RL)中,安全约束与分布外(OOD)动作导致的“高回报与安全性难以兼顾”问题,提出了基于保守估计的变分优化算法(VOCE)。算法以概率推理重构离线安全RL目标,通过非参数变分分布提升策略优化灵活性,结合悲观估计方法为奖励和成本的Q值分别构建上下界,缓解OOD动作引发的外推误差,最终通过监督学习将变分分布转化为参数化策略。在Point-Goal、Car-Button等4类任务上的实验表明,VOCE在多种数据集组合下表现优异,尤其在安全性上超越现有最优算法。
核心创新点
- 以概率推理重构问题:引入非参数变分分布替代传统参数化策略,增强离线数据集下安全策略优化的灵活性,解耦最优变分分布优化与参数化策略更新过程。
- 保守Q值估计方法:通过悲观估计推导Q值的上下界,对奖励Q值采用下界估计、成本Q值采用上界估计,有效消除OOD动作导致的外推误差。
- 约束优化框架:将变分分布优化转化为带KL散度约束的凸优化问题,通过拉格朗日乘数法得到闭式解,在保证安全性约束的同时最大化累积奖励。
英文原文翻译(Markdown格式)
Abstract
离线安全强化学习(RL)算法有望在不与环境交互的情况下,直接从离线数据集中学习满足安全约束的策略。这种特性在自动驾驶、机器人等采样成本高且存在潜在危险的场景中尤为重要。然而,安全约束
订阅专栏 解锁全文
1299



被折叠的 条评论
为什么被折叠?



