深度强化学习（DRL）算法附录1 —— 贝尔曼公式

最新推荐文章于 2025-12-31 21:25:26 发布

原创

最新推荐文章于 2025-12-31 21:25:26 发布 · 1.4k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #深度学习 #chatgpt #gpt-3

本文介绍了深度强化学习中的关键概念——贝尔曼公式，包括基本公式和最优公式。贝尔曼公式阐述了在给定策略π下状态值函数的期望回报，而最优公式则描述了存在唯一最优解的条件。内容涵盖了即时奖励与未来奖励的平均值，并提及了收缩映射定理在确定最优策略中的应用。

贝尔曼公式

$\begin{aligned} v_\pi(s) &=\mathbb{E}\left[G_t \mid S_t=s\right] \\ &=\mathbb{E}\left[R_{t+1}+\gamma G_{t+1} \mid S_t=s\right] \\ &=\mathbb{E}\left[R_{t+1} \mid S_t=s\right]+\gamma \mathbb{E}\left[G_{t+1} \mid S_t=s\right] \\ &=\sum_a \pi(a \mid s) \mathbb{E}\left[R_{t+1} \mid S_t=s, A_t=a\right]+ \sum_{s^{\prime}} \mathbb{E}\left[G_{t+1} \mid S_t=s, S_{t+1}=s^{\prime}\right] p\left(s^{\prime} \mid s\right) \\ &=\sum_a \pi(a \mid s) \sum_r p(r \mid s, a) r + \sum_{s^{\prime}} v_\pi\left(s^{\prime}\right) p\left(s^{\prime} \mid s\right) \\ &=\sum_a \pi(a \mid s) \sum_r p(r \mid s, a) r + \sum_{s^{\prime}} v_\pi\left(s^{\prime}\right) \sum_a p\left(s^{\prime} \mid s, a\right) \pi(a \mid s) \\ &=\underbrace{\sum_a \pi(a \mid s) \sum_r p(r \mid s, a) r}_{\text {mean of immediate rewards }}+\underbrace{\gamma \sum_a \pi(a \mid s) \sum_{s^{\prime}} p\left(s^{\prime} \mid s, a\right) v_\pi\left(s^{\prime}\right)}_{\text {mean of future rewards }} \\ &=\sum_a \pi(a \mid s) \underbrace{\left [\sum_r p(r \mid s, a) r+\gamma \sum_{s^{\prime}} p\left(s^{\prime} \mid s, a\right) v_\pi\left(s^{\prime}\right)\right]}_{ {q_\pi(s, a)}} \\ &=\sum_a \pi(a \mid s) \underbrace{\mathbb{E}\left[G_t \mid S_t=s, A_t=a\right]}_{q_\pi(s, a)} \\ &=\sum_a \pi(a \mid s) q_\pi(s, a), \quad \forall s \in \mathcal{S} . \end{aligned}$