深度强化学习详解与实例（一）

1. 概率论与蒙特卡洛

1.1 概率论基础

在强化学习中会反复用到概率质量函数（Probability Mass Function,PMF）或者概率密度函数（Probability Density Function,PDF）。

• PMF用来描述离散概率分布，例如抛硬币的概率质量函数如下：

$$\sum _{x\in \mathcal{X}}p(x)=1$$

• PDF用来描述连续概率分布，例如正态分布就是一种常见的连续概率分布，随机变量$X$的取值范围是所有实数$R$，则正态分布的概率密度函数就是：

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }\cdot \exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

​ $\mu$和$\sigma$分别代表均值和标准差。说明在均值附近的取值的可能性大。

设$\mathcal{X}$为变量$X$的取值范围。那概率密度函数就有以下性质：
$${\int }_{\mathcal{X}}^{}$$