【强化学习】资格迹（Eligibility Traces）

前言

资格迹是强化学习的基本方法之一，几乎所有用时序差分的算法都可以与资格迹结合起来，从而可以获得一个更加有效且具一般性的方法。

已知强化学习的本质是找最优策略${\pi }_{\ast }$，最优策略${\pi }_{\ast }$等价于最优动作${\pi }_{\ast }(s)$，最优动作${\pi }_{\ast }(s)$可以由最优状态价值$v_{\ast }(s)$（或者最优行动价值$q_{\ast }(s,a)$）决定。在基于Approximation的方法中，求解$v_{\ast }(s)$或者是$q_{\ast }(s,a)$表示为近似预测函数$\hat{v}(s,w)$或者$\hat{q}(s,a,w)$。

已知线性近似的状态价值函数可以写作权重向量$w$和状态向量$x(s)$的内积。
$$\hat{v}(s,w)=w^{T}x(s)=\sum _{i=1}^d{w}_i{x}_i(s)$$
根据MC算法的随机梯度下降（stochastic gradient-descent，SGD）方法求解权重$w$
$$w_{t+1}=w_t+\alpha [G_t-\hat{v}(S_t,w_t)]\nabla \hat{v}(S_t,w_t)$$在求$w$的过程中，$\alpha$，$G_t$，$\nabla \hat{v}(S_t,w_t)$都有自己的优化方法。
· $\alpha$是步长，如果$G_t-\hat{v}(S_t,w_t)$太大，则其$\alpha$要变小。
· $G_t$的计算可以通过$\lambda$-return方法。
· $\hat{v}($