联合/先验/后验概率、似然函数

这是一个由联合概率引发的一连串有趣的故事。

联合概率

$p(x)$表示$x$发生的概率，$p(y)$表示$y$发生的概率，则$x，y$同时发生的概率为：

$$p(x,y)=p(x|y)p(y)=p(y|x)p(x)$$

特别的，当$x，y$独立时，上式可以写作：

$$p(x,y)=p(x)p(y)$$
原因在于，当 $x，y$独立时，即x的发生与y的发生不相关，因此就有 $p(x|y)=p(x)$，同理 $p(y|x)=p(y)$。现在，我们将联合概率变下形，可以得到：

条件概率

$$p(x|y)=\frac {p(x,y)}{p(y)} \\ p(y|x)=\frac {p(x,y)}{p(x)}$$

全概率

$$p(x)=\sum_{i=1}^Mp(x|y_i)p(y_i)$$
其中， $\sum_{i=1}^Mp(y_i)=1$，也就是说对于y的M种（所有）情况都要考虑到。

后验（逆）概率

$$\begin{align} p(y_i|x) & = \frac{p(x,y_i)}{p(x)} \\ & = \frac{p(x|y_i)p(y_i)}{\sum_{j=1}^Mp(x|y_j)p(y_i)} \end{align}$$

参考

http://www.cnblogs.com/ldphoebe/p/5041813.html