『量化人的概率 03』PDF is all you need

在上一篇中，我们提到了二项分布，并且指出：

二项分布究竟意味着什么呢？ 实际上，有一个名为 Galton Board 的装置，可以很好地可视化它的含义：

图1 高尔顿板

具体来说，高尔顿板是一块竖直木板，顶部有一个小球入口，下方有等距的垂直隔板，形成多个凹槽；木板中间钉满了等间距的钉子，呈三角形排列（每一层钉子比上一层多一个，且与上层钉子错开，呈 Pascal 三角或者杨辉三角分布）。

当我们把小球从入口扔进木板时，小球会碰到中间的钉子，然后会向左或者向右弹开，直到碰到下一个钉子或者掉落到下方的垂直隔板。通过每个凹槽里落入的小球数量与小球总数之比，我们就可以知道小球在 n 次碰撞中，连续 k 次选择『右』或者『左』的概率。

实际上，Galton Board 装置的下半部分，正好就是我们在统计学中，常常会用到的直方图。凹槽的宽度可视为 “组距”，凹槽的高度（小球堆积的高度）则对应 “频率”。只不过，在绘制直方图时，我们可以任意指定组距。

在这样一个装置中，如果钉子数越来越多，试验次数也越来越多，会发生什么情况呢？下图显示了在有20层钉子，试验500次时的一种可能结果：

在这个图中，如果我们把每一个凹槽按位置进行编号，把小球落入的位置看成事件的取值，那么我们就得到了一个离散型的随机变量。在图2中，它的取值区间是[0, 20]。

如果我们增加层数，多试验几次，又会如何？下图显示了1000个凹槽、1百万次试验的一种可能结果：

图3 频率/随机变量图

我们看到随机变量的中心值是500左右 – 说明我们的实验是正确的，因为凹槽的个数是1000。但最小值与最大值并不是0和1000，这是因为我们试验的次数还不够多，要使得二项分布取到这样的极限值还是非常困难的。但是，如果凹槽的个数只有10个，而试验次数达到1000次，就很容易取到（0， 10）这两个极值了。

或许你已经注意到，这次的图跟图2有一点不一样。这次我们绘制的实际上不再是直方图，而是概率密度/随机变量图。我们用来绘制这张图的代码是：

import matplotlib.pyplot as plt

plt.hist(positions, bins=num_grooves, density=True)

这里的关键参数是 density=True。当指定它为 True 时，直方图绘制函数 hist 绘制的 y 轴就不再是每一个箱的频数，而是概率密度。

这个概率密度是这样算的。在图3中，我们要求把落在大致范围(428, 575)内的随机数，按1000个分箱进行平均分组，这样得到组距大约在0.147的箱子共1000个。每个箱子里落到的随机数（小球个数），计作$X_i$，则$\frac{X_i}{n\times 0.147}$ 就是 $X$ 在这个分箱中的概率密度。按几何概率的求法，这个概率密度乘以分箱长度 – 即小矩形的面积 – 就得到了小球落在该区间的概率。

显然，这1000个矩形的面积之和应该等于1。因为它就是所有事件发生的概率之和。如果我们问，随机变量 X 小于500的概率是多少？那就是把从左到右，前500个矩形的面积加起来。

如果我们继续扩大凹槽数量和试验次数，比如说凹槽增加到1万个呢？最终，每个分箱和它们对应的概率密度在图上会紧挨在一起，从而在视觉上无法将其分开，我们将得到下面的图：

图4 趋近于正态分布

但是，这张图仍然是由若干个矩形组成的。对于任意一个$X_i$，我们都能通过计算前$i$个矩形的面积和，来算出$X\ge X_i$的概率。尽管矩形个数增加了，但所有的小矩形的面积和仍然为1。

如果我们继续加大钉子的层数和试验次数，使得它们都趋向于$+\infty$呢？这时候，不仅仅是矩形从屏幕上消失，它们实际上在物理意义上也不构成矩形了。这时候我们只会看到屏幕上一条平滑的钟形曲线。

在这个趋向于无穷大的过程中，会发生什么呢？在 Galton Board 中，随机变量的取值（小球能落入的凹槽位置）是有限的，是离散值。而当 $n$ 和钉子层数（实际上也就是凹槽个数）趋向于无穷大时，随机变量的取值也将由离散值变为连续值。

现在，再来求事件$X\ge X_i$的概率，我们就无法通过小矩形的面积和来计算了。不过，当小矩形的长度趋近于零时，求和正好是积分的含义。于是，我们就得到积分表示的分布函数。

PDF 和 CDF

在前面的讨论中，我们已经接触到了 PDF （Probability Density Function）和 CDF（Cumulative Distribution Function）。前者被翻译成为概率密度函数，后者被翻译成为累积分布函数，常常也被简称为分布函数。

显然，从前面的介绍中，我们发现，CDF 是 PDF 的积分，那么 PDF 就是 CDF 的导数。我们有以下公式：

因此，PDF 是 CDF 的一阶导数，反映了 CDF 在某点的变化率。而 CDF 是指随机变量的取值小于或等于 $x$ 的概率。

为了理解 CDF 与 PDF 的计算，我们举一个简单的例子，均匀分布的概率密度函数。

假设随机变量 X 在区间$[0,n]$上均匀分布，则概率密度为 f ( x ) = 1 n f(x) = \frac{1}{n}