强化学习基础知识笔记[5] - 值函数逼近

参考资料
[1] 强化学习入门 第五讲 值函数逼近
本文主要是对该资料学习的笔记，并且加入了一些自己的想法，如有错误欢迎指出。

强化学习的分类

无模型强化学习 - 理论

强化学习的核心问题

强化学习的核心问题为：

1. 策略评估部分：值函数、状态-行为值函数的估计问题！
2. 策略改善部分：给定值函数下，$\pi (a|s)$的选取问题！

回报函数、值函数定义

累计回报函数
$$G_t=R_{t+1}+\gamma R_{t+2}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\text{\hspace{1em}(1.1)}$$
状态值函数
$$v_{\pi }(s)=E_{\pi }[G_t]=E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s\right]\text{\hspace{1em}(1.2)}$$
行为值函数
q π ( s , a ) = E π [ ∑ k = 0 ∞ γ k R t + k + 1 ∣ S t = s , A t = a ] (1.3) q_\pi (s,a) = E_\pi \left[ \sum^{\infty}_{k=0} \gamma ^{k}R_{t+k+1} | S_t = s , A_t = a \right] \tag{1.3} qπ​(s,a)=Eπ​[k=0∑∞​γkRt+k+1​∣St​=s,A