【从RL到DRL】深度强化学习基础（三）——蒙特卡洛算法、TD算法改进：经验回放与高估问题的优化——Target网络与Double DQN，DQN结构改进——Dueling网络

蒙特卡洛算法（Monte Carlo Algorithms）

例子：近似计算π

如果有两个随机数生成器，可以生成[0,1]之间的数字，组成点的坐标(x,y)，则所有点构成的区域如下图：

而如果在这个区域中随机取点，点落在下图所示的圆形区域中的概率就可以表示为：

即P = A₁/A₂ = π r²/4 = π/4.
则如果选取了n个点，则落在圆形区域内的期望为：Pn = πn / 4 ,如果样本数量趋近于无穷，根据大数原则，可以使用频率来近似等于概率，就可以计算出π值。

例子二：蒙特卡洛方法在定积分中的应用：

如果给定一个函数f(x)，计算积分：
从区间[a,b]中随机采样n个数据点，记为x1~xn，计算：
则Qn就可以用来近似积分值I，且当n→∞时，有Qn→I

应用：蒙特卡洛近似期望（Expectation）

记X为一随机向量，记p(x)为对应的概率密度函数（PDF），记f(x)为任意的函数，输入变量为一向量。则定义函数f(X)的期望：
直接求算这个期望往往不容易，尤其是当x为高维向量时，因此常采用蒙特卡洛算法来近似。过程如下：

• 基于概率密度函数随机抽取n个样本记为x1~xn。
• 计算函数f(x)在抽取的样本上的平均值：
• 将Qn作为函数f(X)的期望的预测值

Experience Replay 经验回放

DQN与TD算法回顾

DQN：通过神经网络训练动作价值函数Q(s,a;w)来近似最优动作价值函数Q*(s,a)
通常使用TD算法来训练DQN：

• 观测状态s_t并执行动作a_t
• 环境会提供一个新的状态s_t+1</