10、朴素贝叶斯方法详解

朴素贝叶斯方法详解

1. 朴素贝叶斯的学习与分类

朴素贝叶斯分类的基本公式可表示为：
[y = f(x) = \arg\max_{c_k} \frac{P(Y = c_k) \prod_{j} P(X^{(j)} = x^{(j)} | Y = c_k)}{\sum_{k} P(Y = c_k) \prod_{j} P(X^{(j)} = x^{(j)} | Y = c_k)}]
由于分母对于所有的 (c_k) 都是相同的，所以可以简化为：
[y = \arg\max_{c_k} P(Y = c_k) \prod_{J} P(X^{(j)} = x^{(j)} | Y = c_k)]

1.1 后验概率最大化的含义

朴素贝叶斯将实例划分到后验概率最大的类别中，这等价于期望风险最小化。假设选择 0 - 1 损失函数：
[L(Y, f(X)) =
\begin{cases}
1, & Y \neq f(X) \
0, & Y = f(X)
\end{cases}
]
此时，期望风险函数为：
[R_{exp}(f) = E[L(Y, f(X))]]
期望是关于联合分布 (P(X, Y)) 取的，所以条件期望为：
[R_{exp}(f) = E_X \sum_{k = 1}^{K} [L(c_k, f(X))] P(c_k | X)]
为了最小化期望风险，只需逐个最小化 (X = x) 的情况，从而得到：
[f(x) = \arg\min_{y \in \mathcal{Y}} \sum_{k = 1}^{K} L(c_k