强化学习知识要点与编程实践（5）——价值函数的近似表示

本文未经许可，禁止转载，如需转载请联系笔者

0. 前言

本章之前的内容介绍的多是规模比较小的强化学习问题，生活中有许多实际问题要复杂得多，有些是属于 状态数量 巨大甚至是连续的，有些 行为数量 较大或者是连续的。这些问题要是使用前几章介绍的基本算法效率会很低，甚至会无法得到较好的解决。本章就聚焦于求解那些 状态数量多或者是连续状态 的强化学习问题。

当状态数量和行为数量多时，如果仍然用字典式的存储，即：一个状态动作对(S,A)对应一个Q值，那么这个存储量将会非常大，特别是状态数量或行为数量是连续的时候，这个存储量理论上是无穷大。前面几章讲的都是查表式(table lookup)算法。

那么这个时候，我们要转换思路，不能用离散的字典式存储，对于连续问题，就要用连续的方式，即存储一个Q函数。输入一个状态动作对，输出函数计算的Q值。

因此，我们可以用一个函数来近似状态价值函数 V