概率基础

概率基础

条件概率

• A条件下B的概率：

$$P(B|A)=\frac{P(AB)}{P(A)}$$

• 逆概率：

$$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$

全概率公式

$$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$

贝叶斯公式

$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$

事件的独立性

• 两事件中任一事件发生都不影响另一事件发生时：

$$P(B|A)=P(B)$$

• A，B，C两两独立：

$$P(AB)=P(A)P(B)$$ $$P(AC)=P(A)P(C)$$ $$P(BC)=P(B)P(C)$$

• A，B，C相互独立：

$$P(ABC)=P(A)P(B)P(C)$$

MLE和MAP

最大似然估计

找出一组参数$\theta$，使模型产生的观测数据$X$的概率最大，$X=x_1,x_2,...x_n$

$$\underset{\theta }{\mathrm{argmax}}P(X|\theta )=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^n\log P(x_i|\theta )$$

对数似然
$$\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^n\log P(x_i|\theta )$$

最大后验概

$\theta$参数有一个先验概率$P(\theta )$，给定了观测值$X$后，求$\theta$使概率$P(X|\theta )P(\theta )$最大

$$\underset{\theta }{\mathrm{argmax}}P(\theta |X)=\underset{\theta }{\mathrm{argmax}}\frac{P(X|\theta )P(\theta )}{P(X)}=\underset{\theta }{\mathrm{argmax}}P(X|\theta )P(\theta )$$

e.g.

概率是已知模型和参数，推数据；统计是已知数据，推模型和参数。

抛一硬币10次，正面朝上60次
MLE：P(正)=60/100=0.6
MAP：通常认为硬币正反55开，则认为P(正)在区间$(0.5,0.6)$中

附录

en	cn
statistics	统计学
probability	概率
Bayes	贝叶斯
maximum likelihood estimate	最大似然估计
maximum a posteriori	最大后验概率
posteriori	后验的；其次的
posterior	较后的；臀部
posterity	后裔；后代
prior	优先的；在前的
priori	先验的
priority	优先；优先次序