大白菜的概率论日记

概率分布：
概率分布，是指用于表述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。若要全面了解试验，则必须知道试验的全部可能结果及各种可能结果发生的概率，即随机试验的概率分布。如果试验结果用变量X的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得对应值的概率。根据随机变量所属类型的不同，概率分布取不同的表现形式。

条件概率分布：
Conditional probability (distribution)
条件概率分布（Conditional Probability Distribution，或者条件分布，Conditional Distribution ）是现代概率论中的概念。 已知两个相关的随机变量X 和Y，随机变量Y 在条件{X =x}下的条件概率分布是指当已知X 的取值为某个特定值x之时，Y 的概率分布。

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。

条件概率有时候也称为：后验概率。

贝叶斯法则：

贝叶斯定理是用来做什么的？简单说，概率预测：某个条件下，一件事发生的概率是多大？

先验概率：
先验概率是基于背景常识或者历史数据的统计得出的预判概率，一般只包含一个变量，例如P(X)，P(Y)。

似然函数：
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数可以理解为条件概率的逆反。

最大似然估计（MLE）与最大后验概率（MAP）：
最大似然估计是似然函数最初也是最自然的应用。似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一，也不一定存在。

最大后验概率（MAP），如下面的公式：


我们要估计的是a，分母部分与带估计的a无关，因而可以省略。贝叶斯法则告诉我们，求解最大后验估计相当于最大似然估计与先验的乘积。