强化学习2-value函数的近似

在强化学习中，如果状态是比较少，可以使用表格的方法类存储所有的转态和动作，每个格子代表一个状态。

但是在类似围棋游戏中，每下一个子就是一种状态，那么这些状态就非常多了，如果在程序中要用一个表格来表示状态与状态对应的值函数的话，那么内存就远远不够用了。
另外，当状态不是离散的时候，就无法用表格来表示了。所以，我们需要另外的方法来表示状态与状态对应的值函数。所以需要机器学习(比如：各种神经网络模型)的放来用近似的预估value函数(或Q函数)。

先给出整体的迭代方式:

强化学习value函数的近似

1. 先看目标函数$J(w)$:
$J(w)=E_{\pi }[(v_{\pi }(s)-\hat{v}(S,w){)}^2]$, 其中$v_{\pi }(s)$是真实的值、$\hat{v}(S,w)$是预估的值

2. 计算梯度:
$\Delta w=-\frac{1}{2}\frac{\partial J(w)}{\partial w}=E_{\pi }[(v_{\pi }(s)-\hat{v}(S,w))]\frac{\partial \hat{v}(S,w)}{\partial w}$
其中$\frac{\partial \hat{v}(S,w)}{\partial w}$就是神经网络的梯度链式传播；$v_{\pi }(s)$有不同的预估方法。

3. $v_{\pi }(s)$在不同方法下的表示:
(1). MC方法:
$v_{\pi }(s)=G_t(G_t是return)$
此时， $\Delta w=-\frac{1}{2}\frac{\partial J(w)}{\partial w}=E_{\pi }[(G_t-\hat{v}(S_t,w))]\frac{\partial \hat{v}(S_t,w)}{\partial w}$

强化学习value函数的近似 - MC方法

(2).TD方法:
$v(s_t,w)=R_t+\gamma \hat{v}(s_{t+1},w)(R_t是reward)$

强化学习value函数的近似 - TD方法

(3).MC+ Q-function
$v(s_t,a_t,w)=G_t(G_t是reward)$

(4).TD+ Q-function + on-policy (SARA方法)
$v(s_t,a_t,w)=R_t+\gamma \hat{v}(s_{t+1},a_{t+1},w)(R_t是reward)$

强化学习Q函数的近似 - SARA方法

(5).TD + Q-function + off-policy(Q-learning方法)
不收敛, 不能用SGD的方法. 下一节专门分析下Deep Q-learning Network (DQN)

参考资料：

1. https://blog.youkuaiyun.com/liweibin1994/article/details/79206489
2. https://zhuanlan.zhihu.com/p/26007538