贝叶斯公式、全概率公式、先验概率、后验概率、似然概率

概念

• $P(Hypothesis)$ 先验概率，根据常识或者历史数据的统计得出的预判概率。

• $P(Hypothesis|Evidence)$ 后验概率，其中 $|$ 意味着 Hypothesis given Evidence （在什么条件下），后验概率由于已知结果（实际观测值Evidence），所以是由果溯因。贝叶斯即属于由果溯因。

• $P(Evidence|Hypothesis)$ 似然概率，其中 $|$意味着 Limited （限制），即在假设成立的情况下，我们观测到证据的概率

• 条件概率是表示一个事件发生后另一个事件发生的概率。

• 联合概率指的是事件同时发生的概率。

• 边缘概率是指在多个变量的联合概率分布中，对某个或某些变量进行求和或积分后得到的概率。它表示了某个变量的单独概率，而忽略了其他变量的取值。边缘概率可以通过对联合概率分布进行边缘化操作得到。

​ 在如下公式中，$\theta$已知时，$P$为关于x的概率函数，$x$已知时，$P$是关于$\theta$的似然函数。
$$P(x|\theta )$$

贝叶斯公式

​ 贝叶斯公式在描述一个事情发生后，我们对于一件证据的相信程度。

​ 考虑这样一个场景，吸烟致癌。我们定义A为“吸烟”，B为“患肺癌”。吸烟有可能导致人患肺癌，但是患肺癌并非一定是吸烟所致，那么求解一个肺癌患者（B已发生）有多大可能是吸烟（A）的。那么我们已知一个人患肺癌（B已发生），这个人吸烟（A发生）的概率。

​ 对于上述场景，我们容易将待求表示为$P(A|B)$，直接求解该式难度较大。但是人群中吸烟的比例相对容易得到（调查数据），然后吸烟致癌的可能性也可以获得（研究吸烟致癌的科研数据）。同时不吸烟患肺癌的数据也是可获得的。

​ 吸烟且患肺癌为$P(B|A)P(A)$， 不吸烟患肺癌为$P(B|\neg A)P(\neg A)$。那么问题求解科研表示为如下形式。
$$P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\neg A)P(\neg A)}$$
​ 在吸烟致癌问题中，我们假定了患癌症的情况分为吸烟和不吸烟，但是在实际中，一件事情的发生往往都是多种诱因，那么可以将贝叶斯公式推广，写为更一般的形式。

$$P(H_i|E)=\frac{P(E|H_i)P(H_i)}{{\sum }_{i}P(E|H_i)P(H_i)}$$
​ 其中$H_i$为$E$的各种诱因。

全概率公式

​ 上式中的分母即为全概率公式。
$$P(E)=\sum _{i}P(E|H_i)P(H_i)$$
​ 事件$E$发生的所有诱因放到一起可以计算出事件$E$发生的概率。在上面吸烟致癌的例子中就是，人群中患肺癌的比例。
$$\begin{array}{rl}P(E=患癌症)& =P(患癌症|吸烟)P(吸烟)+P(患癌症|不吸烟)P(不吸烟)\\ & =15\%\times 80\%+10\%\times 85\%\end{array}$$

似然概率 先验概率 后验概率

$$Posteriorprobability\propto Likelihood\propto Priorprobability$$

$$\begin{array}{rl}P(A|B)& =\frac{P(B|A)P(A)}{P(B)}\\ Posterior& =\frac{Likelihood\cdot Prior}{Evidence}\end{array}$$

​ 不难得到如下的推论。$P(B|A)$是$A$发生的情况下，$B$发生的概率，必然与$P(A)$成比例关系。由上式，易得$P(A|B)$与$P(B|A)$成比例关系。
$$P(A|B)=c_1\cdot P(B|A)=c_{2}P(A)$$

统计与概率

​ 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。

最大似然估计（Maximum likelihood estimate）

​ 在一个罐子中，有黑白两种颜色的球，数目未知，颜色比例未知。假设我们随机在罐子中取出一个球，重复100次，其中白球60次，黑球40次。问罐子中白球的个数最可能是多少？

​ 记第$i$次抽取的结果为$x_i$，那么样本结果为$(x_1,x_2,\cdots ,x_{100})$，假设白球占比为$p$
$$\begin{array}{rl}P(Evidence|\theta )& =P(x_1,x_2,\cdots ,x_{100}|\theta )\\ & =P(x_1|\theta )\cdot P(X_2|\theta )\cdots P(X_{100}|\theta )\\ & =C_{60}^{100}{p}^{60}(1-p{)}^{40}\end{array}$$
​ 那么，该问题转换为$p$为何值时，出现这种实验结果的可能性最大。（最大似然函数，顾名思义即最大化$P$）求导并令导数为0。
$$\frac{\mathrm{d}P}{\mathrm{d}p}=60p^{59}(1-p{)}^{40}-40p^{60}(1-p{)}^{39}=0$$
​ 解得，$p=0.6$时，似然函数取得最大值。
$$p=0.6$$

最大后验概率（Maximum a posteriori estimation）

​ 最大似然估计是求参数$\theta$使得似然函数最大，而最大后验概率是求参数$\theta$使得$P(x|\theta )P(\theta )$最大，相对最大似然估计而言，这里相当于多了一个让$P(\theta )$这一先验概率最大的条件。最大后验概率相比最大似然估计加入了先验概率。

​ $MAP$本质上是在最大化后验概率$P(\theta |x)=\frac{P(x|\theta )P(\theta )}{P(x)}$，而$x$是确定的，所以去掉了分母。

贝叶斯派和频率派

​ 依据对总体分布中参数的不同观点，统计学家大致可以分为两个派别：频率派和贝叶斯学派。频率学派的观点是对总体分布做适当的假定，结合样本信息对参数进行统计推断，这里涉及总体信息和样本信息；而贝叶斯学派的观点认为除了上述两类信息之外，统计推断还应引入先验信息。

​ 一般来说，先验信息来源于经验和历史资料，在日常生活和工作中是与人们的直观相符合的。

​ 基于总体信息、样本信息和先验信息进行统计推断的统计学称为贝叶斯统计学，它与经典统计学的差别就在于是否利用参数的先验信息，或者说是否认为参数是一个随机变量。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参与到统计推断中来，以提高统计推断的质量。

​ 可以说贝叶斯估计更符合人们直观上的感觉，更符合人们以往的经验。

​ 贝叶斯学派初创时，为当时的频率学派所不容，被提出了诸多质疑，但是后来随着贝叶斯学派的不断发展，并在一些统计问题上绽放光彩，学界开始逐渐接受贝叶斯学派，在更为广泛的应用中，贝叶斯学派对于某些问题的求解，甚至比频率派的参数估计方法更加的科学、准确和合理。

派别

MLE 频率派

MAP 贝叶斯派

概率和分布

分布和概率是概率论中密切相关的概念，它们描述了随机变量或事件发生的可能性。

概率是一个数值，表示某个事件发生的可能性。它通常在0到1之间取值，其中0表示不可能发生，1表示必然发生。概率可以用来描述单个事件的可能性，例如掷骰子得到6的概率为1/6。

分布是一个函数或一组数值，描述了随机变量可能取值的概率分布情况。它可以用来描述随机变量的所有可能取值及其对应的概率。常见的分布包括均匀分布、正态分布、泊松分布等。分布可以用来描述单个随机变量的概率情况，例如正态分布可以描述连续变量的概率分布情况。

概率和分布之间的关系是，分布描述了随机变量可能取值的概率分布情况，而概率是从分布中提取出来的具体数值。概率可以通过分布函数或密度函数计算得到。例如，在正态分布中，我们可以使用分布函数计算某个值落在某个区间的概率。

总结起来，概率是描述事件发生可能性的数值，而分布是描述随机变量取值的概率分布情况。概率可以从分布中计算得到。