机器学习：贝叶斯派和频率派

对概率的诠释有两大学派，一种是频率派另一种是贝叶斯派。后面我们对观测集采用下面记号：
$$X_{N\times P}=(x_1,x_2,x_3,\cdot \cdot \cdot ,x_N{)}^T,x_i=(x_{i1},x_{i2},x_{i3},\cdot \cdot \cdot ,x_{ip}{)}^T$$
这个记号表示有 $N$个样本，每个样本都是 $p$维向量。其中每个观测都是由$p(x|\theta )$ 生成的。

贝叶斯派

贝叶斯派认为$p(x|\theta )$中$\theta$不是一个常量。这个$\theta$满足一个预设的先验的分布 $\theta \sim p(\theta )$。于是根据贝叶斯定理依赖观测集参数的后验可以写成：
$$p(\theta |X)=\frac{p(X|\theta )\cdot p(\theta )}{p(x)}=\frac{p(X|\theta )\cdot p(\theta )}{\underset{\theta }{\int }p(X|\theta )\cdot p(\theta )d\theta }$$
这里的解释：

参数$\theta$ 视为随机变量，他有自己的先验分布$p(\theta )$。当我们要计算观测数据 $X$ 出现的 “绝对概率$ p(X)$ 时，需要考虑参数 $\theta$ 所有可能取值对 $p(X)$ 的贡献 。根据全概率公式，对于连续型随机变量$\theta$ ，观测数据XX