机器学习常见概率模型

概率模型

Bernoulli 分布

Bernoulli 分布（Bernoulli distribution）是单个二值随机变量的分布。它由单个参数ϕ 控制，ϕ 给出了随机变量等于1 的概率。它具有如下的一些性质：

Multinoulli 分布

Multinoulli 分布（multinoulli distribution）或者范畴分布（categorical distribution）是指在具有k 个不同状态的单个离散型随机变量上的分布，其中k 是一个有限值，范畴分布范畴分布实际是对二维泊松分布在维数上的扩展。

高斯分布

实数上最常用的分布就是正态分布（normal distribution），也称为高斯分布（Gaussian distribution），公式和分布如下：


采用正态分布在很多应用中都是一个明智的选择。当我们由于缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时，正态分布是默认的比较好的选择，其中有两个原因。
第一，我们想要建模的很多分布的真实情况是比较接近正态分布的。中心极限