强化学习知识要点与编程实践（4）——不基于模型的控制

本文未经许可，禁止转载，如需转载请联系笔者

0. 前言

前一章内容讲解了个体在不依赖模型的情况下如何进行预测，也就是求解在给定策略下的状态价值或行为价值函数。

本章则主要讲解在不基于模型的条件下如何通过个体的学习优化价值函数，同时改善自身行为的策略以最大化获得累积奖励的过程，这一过程也称作不基于模型的控制。

在不基于模型的控制中，可以按照学习过程的不同进行分类，我们把agent实际与环境交互的策略称为行为策略，而把待优化的策略（或者说用来评价状态价值或行为价值的策略）称为目标策略，如果这两个策略相同，则称为现时策略学习(on-policy learning)，如果不同，则称为借鉴策略学习(off-policy learning)

1. 行为价值函数的重要性

在《动态规划寻找最优策略》中，已经讲述了在模型已知的情况下，如何解决控制问题，找到最优策略和最优状态价值函数。但是在模型未知时，里面展示的基于贪婪策略的策略迭代