qq_53053113的博客

qt1statqtstat−αtstatqtstat−qˉtqt1​st​at​qt​st​at​−αt​st​at​qt​st​at​−qˉ​t​其中qˉt\bar{q}_tqˉ​t​为TD target，不同的TD算法有不同的TD targetqˉt\bar{q}_tqˉ​t​图10. 不同算法的TD target。

在蒙特卡洛算法中，需要对stochastic episode的action value进行多次采样取平均值，从而得到该state-action pair的估计值。在上节中使用的方法为：E(x)≈xˉ=1N∑i=1NxiE(x)\approx\bar{x}=\frac{1}{N}\sum_{i=1}^{N}x_iE(x)≈xˉ=N1​i=1∑N​xi​这种方法的缺点是，如果采样值是按照周期性获取，这样就必须等待所有的采样值收集好后，再做平均，效率较低。因此可以采用 迭代增量式 的计算方法提高计算效率：

图10. 总结。

图7. 总结。

以问题的形式进行总结：贝尔曼最优公式(BOE)存在解吗？答：由于收缩映射定理，BOE存在解。贝尔曼最优公式的解唯一吗？答：由于收缩映射定理，BOE的解唯一。如何求解贝尔曼最优公式(BOE)？答：收缩映射定理的迭代求解法。为什么要研究贝尔曼最优公式？答：可以求解最大的状态值与最优的策略。

概念：从不同状态出发 的return依赖于 从其他状态出发 得到的return。首先引入符号Gt，用来引入state value的概念。St→AtRt+1,St+1 S_t \xrightarrow{A_t} R_{t+1},S_{t+1}St​At​​Rt+1​,St+1​上述过程可以描述为：在 St 状态下采取动作 At 得到的reward为 Rt+1，进入的下一个状态为 St+1。并且这三个量分别由概率决定。At→π(At=a∣St=s)Rt+1→p(Rt+1=r∣St=s,At=a)St+

西湖大学强化学习课内容总结