负二项分布

本文链接：个人站 | 简书 | 优快云
版权声明：除特别声明外，本博客文章均采用 BY-NC-SA 许可协议。转载请注明出处。

之前在介绍 DeepAR 等时间序列预测模型时，为了简单起见，我们使用了大家比较熟悉的正态分布作为示例。在实际应用中，需要根据数据本身的特点选择合适的分布。泊松分布、二项分布、以及负二项分布都可以用来刻画计数类数据。其中，泊松分布的 $\mu ={\sigma }^2$，二项分布的 $\mu \ge {\sigma }^2$，负二项分布的 $\mu \le {\sigma }^2$。在我日常接触的业务场景中，$\mu \le {\sigma }^2$ 较为常见，为此免不了要跟负二项分布打交道。

虽然没什么必要，但是本着「有困难要上，没困难创造困难也要上」的精神，我们还是来推导一下负二项分布的相关公式。

1. 定义

一个成功概率为 $p$ 的伯努利试验，不断重复，直至失败 $r$ 次。此时成功的次数为一个随机变量，用 $X$ 表示。称 $X$ 服从负二项分布，记作 $X\sim NB(r,p)$。

需要注意的是，负二项分布的定义并不唯一。例如 tensorflow_probability 使用的定义与本文一致，而 scipy 则将 $X$ 定义为伯努利试验成功 $r$ 次时的失败次数。使用前一定要先看清楚，别问我怎么知道的。此外，Wikipedia 词条不同段落使用的定义竟然也不完全一致，或许是由不同的人编辑的。

2. 概率质量函数

$X=k$ 时总共进行了 $k+r$ 次试验，最后一次为失败，故前 $k+r-1$ 次试验总共成功了 $k$ 次，失败了 $r-1$ 次。因此
$$f(k;r,p)\equiv Pr(X=k)=\left(\genfrac{}{}{0ex}{}{k+r-1}{k}\right)p^k(1-p{)}^r$$

3. 期望

根据定义
$$\begin{array}{rl}\mathbb{E}X& =\sum _{k=0}^{\infty }kf(k;r,p)\\ & =\sum _{k=1}^{\infty }kf(k;r,p)\\ & =\sum _{k=1}^{\infty }k\frac{(k+r-1)!}{k!(r-1)!}{p}^k(1-p{)}^r\\ & =\frac{rp}{1-p}\sum _{k=1}^{\infty }\frac{[(k-1)+(r+1)-1]!}{(k-1)![(r+1)-1]!}{p}^{k-1}(1-p{)}^{r+1}\\ & =\frac{rp}{1-p}\sum _{k=1}^{\infty }f(k-1;r+1,p)\end{array}$$
令 $k^{\prime }=k-1$、$r^{\prime }=r+1$，显然
$$\sum _{k=1}^{\infty }f(k-1;r+1,p)=\sum _{k^{\prime }=0}^{\infty }f(k^{\prime };r^{\prime },p)=1$$
故
$$\mathbb{E}X=\frac{rp}{1-p}$$

4. 方差

首先计算
$$\begin{array}{rl}\mathbb{E}{X}^2& =\sum _{k=0}^{\infty }\\ & \end{array}$$