weixin_54846138的博客

状态-动作 价值函数的定义（Q函数的定义）显然，这是一个关于 状态 和 动作 的函数，其结果为我们在整个决策过程中所获得的价值。这是一个递归的定义。以离散模型进行举例说明Q值的作用：共有6个状态，其中1、6为最终状态。根据回报公式 和 Q函数的定义，可以计算出Q（s, a）值：从上面的例子中，我们发现，计算出每个状态所有可能的Q值，挑选最大的Q值的动作a，则能获得最优策略。贝尔曼方程贝尔曼期望方程用于计算在给定策略π下，状态s采取动作a时的期望回报。

起因：为了完成吴恩达机器学习课程中，强化学习部分的课后任务——Lunar Lander，光是跑动代码就花了很多的功夫。因此希望把各处搜集到的资料汇总起来。可能有不全的地方，建议在过程中遇到任何Error提示多在社区查资料，基本上都有大佬给出了对应的解决方案。

起因是学习吴恩达机器学习过程中，在神经网络tensorflow的部分，需要在Jupyter Notebook中跑相关的代码，于是在网上找了很多资料，终于跑成功了。课程资料中需要跑的部分代码，可以看到提前安装NumPy、matplotlib、tensorflow。在未安装前，运行该代码出现“ModuleNotFoundError: No module named ‘matplotlib”错误。