2025_NIPS_Offline Reinforcement Learning with Differential Privacy

文章核心总结与翻译

一、主要内容

文章聚焦含敏感数据的离线强化学习（RL）隐私保护问题，提出两种带差分隐私（DP）保障的算法：适用于表格型马尔可夫决策过程（MDP）的DP-APVI和适用于线性MDP的DP-VAPVI。两种算法均通过高斯机制或拉普拉斯机制添加噪声实现隐私保护，同时保持实例相关的学习界，隐私代价仅体现为低阶项。仿真结果显示，在中等规模数据集上，算法隐私保障几乎不损失效用，且性能优于无隐私保障的PEVI算法。

二、创新点

1. 首次提出面向表格型和线性MDP的离线RL差分隐私算法，填补该领域研究空白。
2. 基于伯恩斯坦型悲观主义和方差感知最小二乘价值迭代（LSVI）技术，实现隐私与效用的平衡。
3. 算法支持纯DP或zCDP隐私保证，隐私代价为低阶项，随样本量增大可忽略。
4. 通过优化噪声添加策略和后处理步骤，确保转移核估计为概率分布，提升算法实用性。

---

翻译部分（Markdown格式）

Abstract

离线强化学习（RL）问题的提出，往往是为了在金融、法律和医疗等应用场景中学习数据驱动的决策策略。然而，所学策略可能会保留训练数据中个体的敏感信息（例如患者的治疗方案和治疗结果），因此容易面临各类隐私风险。本文设计了具有差分隐私保障的离线强化学习算法，能够有效防范此类风险。这些算法在表格型和线性马尔可夫决策过程（MDP）设置下，均具有较强的实例相关学习界。我们的理论分