强化学习 | 蘑菇书阅读笔记 | 第三章 表格型方法

策略最简单的是查找表（look up table）,即表格型方法(tarbular method),如MC,Q-learning和sarsa。

一、有模型和免模型

有模型：知道状态转移函数和奖励函数。如果有模型，智能体实际上没有和环境进行交互，且我们可以使用动态规划的方法解决——这是上一章的内容，上一章都是以有模型为前提的。

但是，当环境未知或模型太大难以迭代计算时，就需要免模型的强化学习。

二、Q表格

补充：强化=用下一个状态的价值更新当前状态的价值=单步更新=时序差分。 

三、免模型预测

3.1 蒙特卡洛

 

可以改写成每次都更新的形式：

把1/N(st)视为学习率，可以写为：

蒙特卡洛相比起动态规划的优点：1.不需要知道环境 2.每次只更新样本所涉及的状态，适合参数量很大的情况，会更快。

蒙特卡洛方法只适用于有终点的模型。

3.2 时序差分

3.2.1 算法

 当n取1时为单步TD，n取∞时为MC。所以n-step TD是TD与MC的权衡。

3.2.2 比较时序差分与蒙特卡洛方法

1. 时序差分是线上学习的

2.时序差分允许使用不完整的序列

3.时序差分允许使用没有终点的序列

4.时序差分利用了马尔科夫性，所以在符合马尔科夫性的环境中表现更好；MC是纯采样的方法，没有这样的要求。

3.2.3 TD,MC,动态规划的自举与采样

MC纯采样，动态规划纯自举，TD两者兼有。