强化学习基础知识笔记[4] - 时间差分法

参考资料
[1] 强化学习入门 第四讲 时间差分法（TD方法）
本文主要是对该资料学习的笔记，并且加入了一些自己的想法，如有错误欢迎指出。

强化学习的分类

无模型强化学习 - 理论

强化学习的核心问题

强化学习的核心问题为：

1. 策略评估部分：值函数、状态-行为值函数的估计问题！
2. 策略改善部分：给定值函数下，$\pi (a|s)$的选取问题！

回报函数、值函数定义

累计回报函数
$$G_t=R_{t+1}+\gamma R_{t+2}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\text{\hspace{1em}(1.1)}$$
状态值函数
$$v_{\pi }(s)=E_{\pi }[G_t]=E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s\right]\text{\hspace{1em}(1.2)}$$
行为值函数
$$q_{\pi }(s,a)=E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a\right]\text{\hspace{1em}(1.3)}$$
可见状态值函数和行为值函数的定义是在策略$\pi$下各次实现中累计回报函数的数学期望。

动态规划方法值函数：
V ( s t ) = ∑ a ∈ A π ( a ∣ s ) ( R s a + γ ∑ s ′ P s