2025_NIPS_Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning

文章总结与翻译

一、主要内容

本文聚焦低秩结构下强化学习（RL）和多臂老虎机问题中的矩阵估计问题，核心围绕三类场景展开研究：低秩老虎机的奖励矩阵估计、低秩马尔可夫决策过程（MDP）中生成模型下的转移矩阵估计、低秩MDP中前向模型（仅含系统轨迹数据）下的转移矩阵估计。

针对这些场景的核心挑战——矩阵元素承载关键操作意义（需低逐元素误差）、数据存在固有相关性（如MDP中的马尔可夫数据），本文提出基于谱方法的矩阵估计方案，通过leave-one-out论证和泊松近似技术处理数据相关性，证明该方法能高效恢复矩阵的奇异子空间，且实现近极小的逐元素误差。

在此基础上，本文将矩阵估计结果应用于两类具体算法设计：

1. 低秩老虎机的遗憾最小化算法（SME-AE）：通过逐轮采样、矩阵估计和候选臂剪枝，实现有限时间性能保证，遗憾量级约为$(m$