2025_NIPS_A Unifying View of Linear Function Approximation in Off-Policy Reinforcement Learning thro

文章核心总结与创新点

核心内容

本文聚焦强化学习离线策略评估（OPE）任务，针对时序差分学习（TD）、拟合Q迭代（FQI）和部分拟合Q迭代（PFQI）三种经典算法，提出了基于矩阵分裂和预条件化的统一理论框架。文章指出，这三种算法本质上是求解同一线性系统（LSTD系统）的迭代方法，核心差异仅在于预条件子的选择：TD采用常数预条件子，FQI采用特征协方差矩阵的逆作为预条件子，PFQI的预条件子则介于两者之间，随更新次数增加从TD的预条件子过渡到FQI的预条件子。在此框架下，文章深入分析了各算法的收敛条件，揭示了它们之间的收敛关联，并修正了此前研究中的部分错误结论。

核心创新点

1. 统一理论框架：首次通过矩阵分裂和预条件化视角，将TD、FQI、PFQI统一为求解同一线性系统的迭代方法，打破了传统上以“更新次数”区分三者的认知。
2. 关键收敛条件：提出“秩不变性”条件，作为目标线性系统普适一致性的充要条件，且该条件温和易满足；明确各算法收敛的充要条件，无需依赖特征线性无关等强假设。
3. 算法关联揭示：阐明PFQI是TD与FQI的过渡形式，三者收敛性互不蕴含（存在TD收敛而FQI发散、反之亦然的情况）；指出目标网络技术本质是预条件子从常数到数据特征自适应的转变。
4. 理论修正与拓展：修正了此前关于特征线性无关假设必要性的错误结论，证明在策略设置下无需该假设TD仍可稳定；首次为批量TD提供“小学习率可能有效”的理论证明。