强化学习（十）整合学习与规划

微信公众号、知乎号（同名）：李歪理，欢迎大家关注

本篇之前所有的内容都没有提及到个体如何构建一个模拟环境的模型，自然也没有讲解个体构建一个模拟环境的模型对于解决MDP问题有何帮助。

本篇即关注这两个问题。

• 通过构建一个模型，个体具备了一定程度的独立思考能力，即在与环境发生实际交互之前思考各种可能的动作及其能带给环境及自身的改变。
• 通过个体的思考以及联合其与环境的实际交互经验，个体在解决大规模MDP问题时可以取得更好的结果。

1. 简介 Introduction

本篇主要讲解如何从经历中直接学习模型，如何构建一个模型，如何基于模型来进行“规划”，在此基础上将“学习”和“规划”整合起来形成Dyna算法，详细解释了Dyna算法的流程和特点。

依赖于模型，个体可以通过模拟产生一系列虚拟的Episodes，通过使用基于模拟的搜索方法，特别是蒙特卡罗树搜索方法，找到了一条解决诸如围棋等大规模MDP问题的有效可行的算法。

本篇指出解决这类问题的关键在于**“前向搜索”和“采样”**，通过将基于模型的前向搜索与各种不依赖模型的强化学习算法结合，衍生出多个用来解决类似大规模问题的切实可行的算法，如：Dyna-2算法之类。

2. 基于模型的强化学习 Model Based Reinforcement Learning

下图比较好的说明了模型学习在整个RL学习中的位置和作用：