7、强化学习算法：REINFORCE与SARSA深度解析

强化学习算法：REINFORCE与SARSA深度解析

1. REINFORCE算法概述

REINFORCE是一种策略梯度算法，其核心思想是调整策略网络的参数，以最大化智能体的预期回报 $J(\pi_{\theta}) = E_{\tau \sim \pi_{\theta}}[R(\tau)]$。在REINFORCE中，策略梯度通过蒙特卡罗采样进行估计，但这种估计可能具有较高的方差，引入基线是降低方差的常用方法。带有基线的REINFORCE通过减少策略梯度估计的方差，性能优于没有基线的变体。

1.1 蒙特卡罗方法的历史

蒙特卡罗方法由20世纪40年代在洛斯阿拉莫斯研究实验室工作的斯坦尼斯瓦夫·乌拉姆（Stanislaw Ulam）推广开来。“蒙特卡罗”这个名字由物理学家兼计算机设计师尼古拉斯·梅特罗波利斯（Nicholas Metropolis）提出，源于他听说乌拉姆的叔叔因“非要去蒙特卡罗”而向亲戚借钱的故事。同一时期，宾夕法尼亚大学开发了ENIAC计算机，乌拉姆对其计算能力和灵活性印象深刻，认为它适合用于函数评估中统计技术所需的大量繁琐计算。约翰·冯·诺伊曼（John von Neumann）立即看到了蒙特卡罗方法的价值，并在1947年向洛斯阿拉莫斯理论部负责人的一份报告中概述了该技术。

2. SARSA算法介绍

SARSA是一种基于价值的算法，由Rummery和Niranjan在1994年的论文中提出。其名称源于“在进行更新之前，你需要知道状态 - 动作 - 奖励 - 状态 - 动作”。该算法学习 $Q^{\pi}(s, a)$ 函数，与REINFORCE中智能体直接学习从状态到动作的策略不同。SARSA算法包含两个核心思想：时