强化学习原理python篇02——贝尔曼公式推导和求解

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning State Values and Bellman Equation章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

概念

以bootstrapping来介绍状态值

bootstrapping（自举法）

让v代表从s1，…，s4的回报
$$\begin{gathered} v_1=r_1+{\gamma }_{r_2}+{\gamma }_{r_3}^2+...=r_1+\gamma v_2; \\ {v}_2=r_2+{\gamma }_{r_2}+{\gamma }_{r_3}^2+...=r_2+\gamma v_3; \\ {v}_3=r_3+{\gamma }_{r_2}+{\gamma }_{r_3}^2+...=r_3+\gamma v_4; \\ {v}_4=r_4+{\gamma }_{r_2}+{\gamma }_{r_3}^2+...=r_4+\gamma v_1; \end{gathered}$$
用矩阵表示为

$$\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]=\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\\ r_4\end{array}\right]+\gamma \left[\begin{array}{c}0,1,0,0\\ 0,0,1,0\\ 0,0,0,1\\ 1,0,0,0\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]$$
写作
$$\begin{gathered} v=r+\gamma Pv \\ v=(1-\gamma P{)}^{-1}r \end{gathered}$$

state value

$$S_t\stackrel{At}{\to }{S}_{t+1};R_{t+1}$$
表示从状态st做出动作at到$s_{t+1}$，并且获得鼓励$R_{t+1}$，从t开始，可以获得一个trajectory
$$S_t\stackrel{At}{\to }{S}_{t+1};R_{t+1}\stackrel{A_{t+1}}{\to }{S}_{t+2};R_{t+2}\stackrel{A_{t+2}}{\to }{S}_{t+3};R_{t+3}...$$

discounted return 为
$$\begin{gathered} G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+... \\ \gamma \in (0;1) \end{gathered}$$

state value 被定义为
$$v_{\pi }(s)=E[G_t$$