概率分布

概率分布是随机变量所有可能结果及其相应概率的列表。

概率分布的目的：反向推演出某一个事态（随机变量）发生的概率，为决策提供依据，掌控事态变化的关键。

下图是多种概率分布的联系

其中共轭（conjugate）表示的是互为共轭的概率分布；

Multi-Class 表示随机变量多于 2 个；

N Times 表示我们还会考虑先验分布 P(X)。

共轭的意思

共轭分布(conjugate distribution)的概率中一共涉及到三个分布：先验、似然和后验，如果由先验分布和似然分布所确定的后验分布与该先验分布属于同一种类型的分布，则该先验分布为似然分布的共轭分布，也称为共轭先验。

例如：

在贝叶斯概念理论中，如果后验分布 p(θ | x) 与先验分布 p(θ) 是相同的概率分布族，那么后验分布可以称为共轭分布，先验分布可以称为似然函数的共轭先验。

概率分布和特性

1、均匀分布（连续型）
均匀分布是指闭区间 [a, b] 内的随机变量，且每一个变量出现的概率是相同的。

2. 伯努利分布（离散型）

1、Bernoulli分布不考虑先验概率P(X)。因此，如果我们优化到最大的可能性，我们将很容易被过度拟合。
2、我们用二元交叉熵对二进制分类进行分类。它的形式类似于取Bernoulli分布的负