朴素贝叶斯详细推导理解

1. 公式推导

1.1 先验后验

• 先验概率：事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。
• 后验概率：事件发生后求的反向条件概率；或者说，基于先验概率求得的条件概率。

1.2 条件概率公式

设有事件 $A,B$ ，将已知 $B$ 条件下求 $A$ 的概率记作 $P(A|B)$ ，将 $A,B$ 两件事共同发生记作联合分布 $P(A,B)$，所有有下列条件概率公式：$$\begin{array}{r}P(A|B)=\frac{P(A,B)}{P(B)}\end{array}$$也即 $$\begin{array}{r}P(A,B)=P(B)P(A|B)\end{array}$$又因为假设条件独立性，故 $P(A,B)=P(B,A)$，所以带入上述公式可得$$\begin{array}{rl}P(A|B)& =\frac{P(B,A)}{P(B)}\\ & \\ & =\frac{P(A)P(B|A)}{P(B)}\end{array}$$这就是贝叶斯公式。

1.3 独立性假设

朴素贝叶斯假设条件概率是条件独立的，设 $X,x$ 都是 $n$ 维的向量，$X$ 是定义在空间的随机向量，$x$ 是输入， $Y$ 是类标记，有 Y ∈ { c 1 , c 2 , ⋯   , c n } Y \in \{c_1,c_2, \cdots , c_n\} Y∈{ c1​,c2​,⋯,cn​}，独立性可用下述公式来进行表达： P ( X = x ∣ Y = c k ) = P ( X ( 1 ) = x ( 1 ) , X ( 2 ) = x ( 2 ) , ⋯   , X ( n ) = x ( n ) ∣ Y = c k ) = ∏ j = 1 n P ( X ( j ) = x ( j ) ∣ Y = c k ) \begin{aligned} P(X=x|Y=c_k) &= P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)}, \cdots,X^{(n)}=x^{(n)}|Y=c_k) \\ &= \prod^{n}_{j=1}P(X^{(j)}=x^{(j)}|Y=c_k) \end{aligned} P(X=x∣Y=ck​)​=P(X(1)=x(1),X(2)=x(2),⋯,X(n)=x(n)∣Y=ck​)=j=1∏n​P(X