贝叶斯统计——贝叶斯方法简述

统计学中有两个主要学派：频率学派（又称经典学派）和贝叶斯学派。

频率学派利用总体信息和样本信息进行统计推断，贝叶斯学派与之的区别在于还用到了先验信息。

贝叶斯公式

$$P(A,B)=P(A|B)P(B)=P(B|A)P(A)$$
$$P(B|A)=\frac{P(A,B)}{P(A)}$$

全概率公式

$$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$

贝叶斯统计基本原理

贝叶斯学派最基本的观点是：任一未知量 $\theta$ （或者$\lambda$，$\mu$ 和 $\tau$） 都可以看做随机变量，可用一个概率分布去描述，这个分布称为先验分布 （记为$\pi (\theta )$）。

因为任一未知量都有不确定性，而在表述不确定性地程度时，概率与概率分布是最好的语言。依赖于参数$\theta$的密度函数在经典统计学中记为$p(x,\theta )$，它表示参数空间$\Theta$中不同的$\theta$对应不同的分布。在贝叶斯统计中应记为$p(x|\theta )$，表示随机变量$\theta$给定某个值时，$X$的条件密度函数。

在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来，得到一个关于未知量$\theta$的新分布——后验分布，任何$\theta$的统计推断都应该基于$\theta$的后验分布进行。

从贝叶斯观点看，样本$x$的产生要分两步进行：首先，设想从先验分布$\pi (\theta )$中产生一个样本${\theta }^{\prime }$，这一步人是看不到的，所以是“设想”（注意设想也是有意义的，它反映了同一事件不同人的不同看法，为个人之见的差异留有余地）；再从$p(x|{\theta }^{\prime })$ 中产生一个样本$x=(x_1,x_2,x_3,\dots ,x_n)$。这时样本$x$的联合条件密度函数为：