53、复杂环境决策中的强化学习算法解析

强化学习核心算法解析

vim8coder

于 2025-11-13 11:05:04 发布

阅读量14

点赞数

CC 4.0 BY-SA版权

分类专栏： Python机器学习实战精讲文章标签：强化学习贝尔曼方程动态规划

本文链接：https://blog.youkuaiyun.com/vim8coder/article/details/154891236

Python机器学习实战精讲专栏收录该内容

56 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

复杂环境决策中的强化学习算法解析

1. 贝尔曼方程推导

在深入探讨强化学习（RL）算法之前，我们先简要回顾一下贝尔曼方程的推导，该方程可用于策略评估。贝尔曼方程是许多RL算法的核心要素之一，它简化了价值函数的计算。基于总回报的递归方程 $G_t = r + \gamma G_{t + 1}$，我们可以将状态价值函数重写为：
$v_{\pi}(s) \triangleq E_{\pi}[G_t|S_t = s] = E_{\pi}[r + \gamma G_{t + 1}|S_t = s] = r + \gamma E_{\pi}[G_{t + 1}|S_t = s]$
同理，动作价值函数可表示为：
$q_{\pi}(s, a) \triangleq E_{\pi}[G_t|S_t = s, A_t = a] = E_{\pi}[r + \gamma G_{t + 1}|S_t = s, A_t = a] = r + \gamma E_{\pi}[G_{t + 1}|S_t = s, A_t = a]$
利用环境动态，通过对下一个状态 $s’$ 的所有概率和相应奖励 $r$ 求和来计算期望：
$v_{\pi}(s) = \sum_{a \in \hat{A}} \pi(a|s) \sum_{s’ \in \hat{S}, r’ \in \hat{R}} p(s’, r’|s, a) [r’ + \gamma v_{\pi}(s’)]$
这就是贝尔曼方程，它将状态 $s$ 的价值函数与后续状态 $s’$ 的价值函数联系起来，大大简化了价值函数的计算，消除了沿时间轴的迭代循环。

2. 强化学习算法概述

接下来，我们将介绍一系列学习算法，包括动态规划、蒙特卡罗（MC）、时间差分（TD）学习、Q学习和深度Q学习等。这些算法的发展历程可以用以下流程图表示：

graph LR
    A[动态规划] --> B[蒙特卡罗]
    B --> C[时间差分学习]
    C --> D[SARSA]
    C --> E[Q学习]
    E --> F[深度Q学习]

3. 动态规划

动态规划解决RL问题基于以下假设：
- 我们完全了解环境动态，即所有转移概率 $p(s’, r’|s, a)$ 已知。
- 智能体的状态具有马尔可夫属性，即下一个动作和奖励仅取决于当前状态和当前时间步的动作选择。

动态规划有两个主要目标：
1. 预测任务 ：获得真实的状态价值函数 $v_{\pi}(s)$，通过策略评估实现。
2. 优化任务 ：找到最优价值函数 $v^*(s)$，通过广义策略迭代实现。

3.1 策略评估

基于贝尔曼方程，当环境动态已知时，我们可以使用动态规划计算任意策略 $\pi$ 的价值函数。采用迭代解决方案，从 $v^{\langle 0 \rangle}(s)$ 开始，每个状态初始化为零值。在每次迭代 $i + 1$ 时，根据贝尔曼方程更新每个状态的值：
$v^{\langle i + 1 \rangle}(s) = \sum_{a \in \hat{A}} \pi(a|s) \sum_{s’ \in \hat{S}, r \in \hat{R}} p(s’, r|s, a) [r + \gamma v^{\langle i \rangle}(s’)]$
随着迭代次数趋于无穷，$v^{\langle i \rangle}(s)$ 收敛到真实的状态价值函数 $v_{\pi}(s)$。由于我们准确知道环境动态，因此无需与环境交互即可轻松估计价值函数。

3.2 策略改进

计算出价值函数 $v_{\pi}(s)$ 后，我们希望利用它来改进现有策略 $\pi$。目标是找到一个新策略 $\pi’$，使得对于每个状态 $s$，遵循 $\pi’$ 的价值不低于当前策略 $\pi$，即 $v_{\pi’}(s) \geq v_{\pi}(s), \forall s \in \hat{S}$。
具体步骤如下：
1. 基于计算出的状态价值 $v_{\pi}(s)$，计算每个状态 $s$ 和动作 $a$ 的动作价值函数 $q_{\pi}(s, a)$。
2. 遍历所有状态，对于每个状态 $s$，比较选择动作 $a$ 后下一个状态 $s’$ 的价值。
3. 评估所有状态 - 动作对，找到最高状态价值对应的动作。
4. 如果当前策略建议的动作与动作价值函数建议的动作不同，则更新策略，使动作概率与给出最高动作价值的动作相匹配。这就是策略改进算法。

3.3 策略迭代

使用策略改进算法，除非当前策略已经是最优策略（即 $v_{\pi}(s) = v_{\pi’}(s) = v^*(s), \forall s \in \hat{s}$），否则策略改进将严格产生更好的策略。因此，通过迭代执行策略评估和策略改进，我们可以保证找到最优策略。

3.4 价值迭代

重复进行策略评估和策略改进可以达到最优策略，但将这两个任务合并为一步会更高效。以下方程基于最大化下一个状态价值和即时奖励加权和的动作来更新迭代 $i + 1$ 的价值函数：
$v^{\langle i + 1 \rangle}(s) = \max_{a} \sum_{s’, r} p(s’, r|s, a) [r + \gamma v^{\langle i \rangle}(s’)]$
在这种情况下，$v^{\langle i + 1 \rangle}(s)$ 的更新值通过选择所有可能动作中的最佳动作来最大化，而在策略评估中，更新值是对所有动作的加权求和。

4. 蒙特卡罗强化学习

动态规划依赖于环境动态完全已知的简单假设，而蒙特卡罗（MC）方法假设我们对环境动态一无所知，智能体通过与环境交互来学习。

4.1 状态价值函数估计

对于MC强化学习，我们定义一个遵循概率策略 $\pi$ 的智能体类，智能体根据该策略在每一步采取动作，形成一个模拟情节。生成一组情节后，对于每个状态 $s$，考虑所有经过该状态的情节来计算其价值。使用查找表 $V(S_t = s)$ 来获取价值函数对应的值，MC更新基于从首次访问状态 $s$ 开始的该情节的总回报，这种算法称为首次访问蒙特卡罗价值预测。

4.2 动作价值函数估计

当环境动态已知时，我们可以通过向前看一步找到给出最大价值的动作，从而从状态价值函数推断动作价值函数。但如果环境动态未知，这是不可行的。我们可以扩展首次访问MC状态价值预测算法，计算每个状态 - 动作对的估计回报。然而，可能会出现某些动作从未被选择的问题，导致探索不足。解决方法有：
- 探索性起始 ：假设在情节开始时每个状态 - 动作对都有非零概率。
- $\epsilon$-贪心策略 ：将在策略改进部分讨论。

4.3 寻找最优策略

MC控制指的是改进策略的优化过程。类似于动态规划中的策略迭代方法，我们可以反复交替进行策略评估和策略改进，直到达到最优策略。从随机策略 $\pi_0$ 开始，过程如下：
$\pi_0 \xrightarrow{评估} q_{\pi_0} \xrightarrow{改进} \pi_1 \xrightarrow{评估} q_{\pi_1} \xrightarrow{改进} \pi_2 \cdots \xrightarrow{评估} q^ \xrightarrow{改进} \pi^ $

4.4 策略改进

给定动作价值函数 $q(s, a)$，我们可以生成贪心（确定性）策略：$\pi(s) \triangleq \arg \max_{a} q(s, a)$。为了避免探索不足的问题，我们可以使用 $\epsilon$-贪心策略，即所有非最优动作在状态 $s$ 有最小的 $\frac{\epsilon}{|A(s)|}$ 被选择概率，而最优动作有 $1 - \frac{(|A(s)| - 1) \times \epsilon}{|A(s)|}$ 的概率被选择。

5. 时间差分学习

前面介绍了动态规划和MC强化学习，现在我们引入第三种RL方法 - 时间差分（TD）学习，它可以看作是MC强化学习方法的改进或扩展。

5.1 TD学习概述

与MC技术类似，TD学习也是基于经验学习，不需要环境动态和转移概率的知识。TD和MC技术的主要区别在于，MC需要等到情节结束才能计算总回报，而TD学习可以在到达情节结束之前利用已学习的属性更新估计值，这称为自举（在RL上下文中，不要将自举与第7章中用于集成学习的自举估计混淆）。

5.2 TD预测

回顾MC的价值预测，在每个情节结束时，我们可以估计每个时间步 $t$ 的回报 $G_t$，并更新访问状态的估计值：
$V(S_t) = V(S_t) + \alpha (G_t - V(S_t))$
其中，$G_t$ 用作目标回报来更新估计值，$(G_t - V(S_t))$ 是添加到当前价值估计 $V(S_t)$ 的校正项，$\alpha$ 是学习率超参数，在学习过程中保持不变。
在TD学习中，我们用新的目标回报 $G_{t:t + 1}$ 替换实际回报 $G_{t:T}$，大大简化了价值函数 $V(S_t)$ 的更新。更新公式如下：
$V(S_t) = V(S_t) + \alpha [G_{t:t + 1} - V(S_t)]$
其中，目标回报 $G_{t:t + 1} \triangleq R_{t + 1} + \gamma V(S_{t + 1}) = r + \gamma V(S_{t + 1})$，使用观察到的奖励 $R_{t + 1} = r$ 和下一个即时步骤的估计值。与MC不同，在TD中，我们只需要向前走一步就可以获得目标回报，这也称为TD(0)。
TD(0)算法可以推广到n步TD算法，它结合了更多未来步骤的加权和。如果 $n = 1$，则n步TD过程与TD(0)相同；如果 $n \to \infty$，则n步TD算法与MC算法相同。n步TD的更新规则如下：
$V(S_t) = V(S_t) + \alpha [G_{t:t + n} - V(S_t)]$
$G_{t:t + n} \triangleq \begin{cases} R_{t + 1} + \gamma R_{t + 2} + \cdots + \gamma^{n - 1} R_{t + n} + \gamma^n V(S_{t + n}), & \text{if } t + n < T \ G_{t:T}, & \text{otherwise} \end{cases}$

5.3 TD控制

完成TD算法的预测任务后，我们可以转向控制任务。我们将介绍两种TD控制算法：
- 在线策略TD控制（SARSA） ：为简单起见，我们只考虑一步TD算法（TD(0)），但该算法可以很容易地推广到n步TD。我们将预测公式扩展到动作价值函数，使用二维查找表 $Q(S_t, A_t)$ 表示每个状态 - 动作对的动作价值函数。更新公式如下：
$Q(S_t, A_t) = Q(S_t, A_t) + \alpha [R_{t + 1} + \gamma Q(S_{t + 1}, A_{t + 1}) - Q(S_t, A_t)]$
该算法通常称为SARSA，指的是更新公式中使用的五元组 $(S_t, A_t, R_{t + 1}, S_{t + 1}, A_{t + 1})$。与动态规划和MC算法类似，我们可以使用广义策略迭代（GPI）框架，从随机策略开始，反复估计当前策略的动作价值函数，然后基于当前动作价值函数使用 $\epsilon$-贪心策略优化策略。
- 离线策略TD控制（Q学习） ：在线策略TD控制算法中，动作价值函数的估计基于智能体遵循的同一策略的动作。而在离线策略算法中，价值函数的更新基于当前策略之外的动作。具体来说，我们修改更新规则，考虑下一个即时状态中不同动作的最大Q值。更新Q值的修改方程如下：
$Q(S_t, A_t) = Q(S_t, A_t) + \alpha [R_{t + 1} + \gamma \max_{a} Q(S_{t + 1}, a) - Q(S_t, A_t)]$
与SARSA算法的更新规则相比，我们在下一个状态 $S_{t + 1}$ 中找到最佳动作，并将其用于校正项来更新 $Q(S_t, A_t)$ 的估计值。

6. 实现第一个RL算法

为了实现Q学习算法解决网格世界问题，我们使用OpenAI Gym工具包。具体实现步骤将在后续详细介绍，通过这个实例，我们可以更好地理解和应用上述强化学习算法。

综上所述，我们介绍了多种强化学习算法，包括动态规划、蒙特卡罗、时间差分学习及其变体。每种算法都有其特点和适用场景，在实际应用中，我们需要根据具体问题选择合适的算法。例如，当环境动态已知时，动态规划是一个不错的选择；当环境动态未知时，蒙特卡罗和时间差分学习方法更具优势。同时，我们还可以通过结合不同的算法和技术，进一步优化智能体的学习和决策能力。

算法名称	环境动态要求	学习方式	特点
动态规划	已知	基于模型	计算依赖环境动态，可通过迭代找到最优策略
蒙特卡罗	未知	与环境交互	通过模拟情节学习，无需环境动态知识
时间差分学习	未知	与环境交互	可在情节结束前更新估计值，结合了MC和动态规划的优点
SARSA	未知	在线策略更新	基于同一策略的动作更新价值函数
Q学习	未知	离线策略更新	考虑最佳动作更新价值函数

复杂环境决策中的强化学习算法解析

7. 不同算法的对比与分析

从表格中可以看出，动态规划虽然能精确求解，但对环境知识要求高，在实际复杂环境中应用受限。MC和TD学习更适合环境动态未知的情况，其中TD学习结合了MC的经验学习和动态规划的自举思想，在收敛速度上可能更具优势。SARSA和Q学习是TD学习在控制任务中的具体应用，分别采用在线和离线策略更新方式。

8. 各算法的应用场景分析

不同的强化学习算法适用于不同的应用场景，以下是一些常见场景及适用算法的分析：
- 游戏领域 ：在许多电子游戏中，环境动态复杂且难以精确建模，如围棋、星际争霸等。此时，蒙特卡罗树搜索（MC的一种扩展）和Q学习等算法表现出色。例如，AlphaGo就结合了深度神经网络和蒙特卡罗树搜索技术，通过大量的自我对弈学习，实现了对人类顶级棋手的超越。
- 机器人控制 ：机器人在现实环境中执行任务时，环境动态往往是未知的，且需要实时决策。时间差分学习算法（如SARSA和Q学习）可以在与环境交互过程中不断更新策略，使机器人能够快速适应环境变化。例如，机器人在未知地形中导航、抓取物体等任务中，TD学习算法可以帮助机器人高效地学习最优策略。
- 金融投资 ：金融市场具有高度的不确定性和动态性，投资者需要根据市场变化及时调整投资策略。动态规划可以用于解决一些具有明确模型的金融问题，如固定收益证券的定价。而对于更复杂的市场环境，蒙特卡罗模拟和Q学习等方法可以用于学习最优投资策略，通过模拟不同的市场情景来评估投资组合的风险和收益。

9. 强化学习算法的发展趋势

随着人工智能技术的不断发展，强化学习算法也在不断演进和创新。以下是一些当前的发展趋势：
- 深度强化学习 ：将深度神经网络与强化学习相结合，能够处理高维、复杂的环境。深度Q网络（DQN）及其变体（如Double DQN、Dueling DQN等）在游戏、机器人控制等领域取得了显著成果。通过深度神经网络，智能体可以自动学习环境的特征表示，从而更高效地学习最优策略。
- 多智能体强化学习 ：在现实世界中，许多问题涉及多个智能体的交互和协作，如交通控制、团队游戏等。多智能体强化学习研究如何使多个智能体在共同的环境中学习和协作，以实现共同的目标。目前，已经提出了多种多智能体强化学习算法，如集中训练分散执行（CTDE）等。
- 无模型与基于模型的融合 ：无模型强化学习算法（如MC、TD学习）在处理未知环境时具有优势，但学习效率较低；基于模型的强化学习算法（如动态规划）可以利用环境模型进行高效计算，但对模型的准确性要求高。未来的研究趋势是将两者相结合，充分发挥各自的优势，提高强化学习的性能。

10. 总结与展望

本文详细介绍了多种强化学习算法，包括动态规划、蒙特卡罗、时间差分学习及其相关变体（SARSA和Q学习）。每种算法都有其独特的特点和适用场景，在不同的领域中发挥着重要作用。

在实际应用中，我们需要根据具体问题的特点选择合适的算法。同时，随着强化学习技术的不断发展，新的算法和方法不断涌现，为解决更复杂的问题提供了可能。未来，强化学习有望在更多领域得到广泛应用，如自动驾驶、医疗保健、能源管理等，为推动人工智能技术的发展做出更大贡献。

为了帮助读者更好地理解这些算法的关系和发展脉络，以下是一个mermaid格式的流程图：

graph LR
    A[强化学习算法] --> B[动态规划]
    A --> C[蒙特卡罗（MC）]
    A --> D[时间差分（TD）学习]
    B --> B1[策略评估]
    B --> B2[策略改进]
    B --> B３[策略迭代]
    B --> B4[价值迭代]
    C --> C1[状态价值函数估计]
    C --> C2[动作价值函数估计]
    C --> C3[寻找最优策略]
    C --> C4[策略改进]
    D --> D1[TD预测]
    D --> D2[TD控制]
    D2 --> D21[SARSA（在线策略）]
    D2 --> D22[Q学习（离线策略）]

通过这个流程图，我们可以更直观地看到各种算法之间的层次关系和发展路径。希望本文能够为读者提供一个全面的强化学习算法入门指南，帮助大家在实际应用中更好地选择和使用这些算法。