强化学习：bellman方程求解state value例题

最近在学习强化学习相关知识，强烈推荐西湖大学赵世钰老师的课程，讲解的非常清晰流畅，一路学习下来令人身心大爽，感受数学抽丝剥茧，化繁为简的神奇魅力。
bellman方程还是比较容易理解的：当前状态下的state value等于即时奖励加上未来状态下的state value。
向量形式版本如下：

整体完整版本如下：

上述公式中只涉及状态变量，而状态的改变是通过action实现的。基于全概率公式，利用状态-动作概率分布函数，可以推导得到局部细节的bellman方程如下：

在一步一步推导bellman方程的过程中，是从局部细节版到整体完整版，再到清晰明了的向量形式。但我们理解时，可以反其道而行之。根据向量形式的公式感性认识bellman方程的内涵，再通过理性思考不断展开细化向量形式，得到整体完整版，再进一步细化得到局部细节版，如此形成闭环学习认知，实现知识点的融会贯通。这正是华老所提倡的读书从薄到厚，再从厚到薄。与大家共勉！！！

在讲解bellman方程的向量形式的课程最后，赵老师给出了几个计算实例，不同于之前讲解知识点所采用的2阶矩阵，例题给出的是5阶状态矩阵。一时无法快速给出每个状态的state value。为了验证自己的学习效果，本人选择其中状态转移概率分布最简单的一个案例进行分析，如下图红框所示。

可以发现，每个状态的动作方向都是确定的，且都是指向自己的右侧，因此其状态转移矩阵$P$必呈现一定的规律性。以第一行中的5个状态为例，不难得到转移矩阵为：