本文探讨了解决贝尔曼方程的两种方法：解析解和迭代解。解析解虽然在状态多时计算复杂，但有助于理解迭代解。重点介绍了迭代解的原理，并指出当迭代次数趋近无穷时，其解会逼近最优策略值函数。尽管未详细证明这一过程，但提出了后续验证的计划。
求解贝尔曼方程有两种方法：一种是解析解的形式，一种是迭代解的形式。
解析解就是通过联立∣S∣|S|∣S∣个线性方程来求解v(s1,s2,...sn)v(s_1, s_2, ... s_n)v(s1,s2,...sn)，但是在状态很多时计算复杂。通过研究解析解形式可以更方便的迁移到迭代解。
推导过程纯手写，LaTeX打太麻烦了。过程参考Davild PPT以及shuhuai008视频
有了解析解的形式，迭代解就好理解了，但是有一点，当k趋向无穷时，Vk+1V_{k+1}Vk+1 趋向于VπV_πVπ 仍然需要证明。以后再证。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
