强化学习知识要点与编程实践（6）——基于策略梯度的深度强化学习

本文未经许可，禁止转载，如需转载请联系笔者

0. 引言

前一章《价值函数的近似表示（含DQN算法）》中介绍了在强化学习中如何处理状态数量多或者状态连续时的情况，其基本思路就是构建一个价值近似函数（通常是一个神经网络），输入 是状态矢量（矢量的每个元素可以取连续值，元素数量即为神经网络的输入神经元个数）或状态矢量+动作，输出 是V值或Q值，如下图所示。

依据上面的思路，这也就诞生了DQN和DDQN算法，这两种算法的区别也可以见《图解DQN，DDQN，DDPG网络》

上面的方法只解决了状态连续的问题，却没解决动作连续的问题。假设动作连续，那么由神经网络的输出神经元数量=动