强化学习笔记【12】DDPG

该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。

 使用说明

笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分；
笔记 【1】和笔记 【2】根据《强化学习纲要》整理而来；
笔记 【3】 和笔记 【12】根据《百度强化学习》 整理而来。

一、离散动作vs连续动作

 图1. 离散动作vs连续动作

在很多情景中，我们要输出的动作是连续的，而不是离散的，这个时候Q-learning、DQN 等算法是没有办法处理的。那这时我们怎么输出连续的动作呢？这个时候，万能的神经网络又出现了。

1. 在离散动作的场景下，比如说我输出上、下或是停止这几个动作。有几个动作，神经网络就输出几个概率值，我们用πθ​(at​∣st​)来表示这个随机性的策略。
2. 在连续的动作场景下，比如说我要输出这个机器人手臂弯曲的角度，这样子的一个动作，我们就输出一个具体的浮点数。我们μθ​(st​)来代表这