统计学习方法笔记，第四章朴素贝叶斯法

最新推荐文章于 2024-01-25 18:15:47 发布

努力学挖掘机的李某某

最新推荐文章于 2024-01-25 18:15:47 发布

阅读量460

点赞数

CC 4.0 BY-SA版权

分类专栏：《统计学习方法》笔记文章标签：数据挖掘机器学习统计学习

本文链接：https://blog.youkuaiyun.com/qq_30911665/article/details/75095847

《统计学习方法》笔记专栏收录该内容

7 篇文章

订阅专栏

本文介绍了朴素贝叶斯法的学习与分类，基于贝叶斯定理和条件独立假设。通过求解后验概率最大化的类概率，利用训练集进行参数估计，并应用拉普拉斯平滑避免概率为0的问题。朴素贝叶斯法适用于小样本和样本不平衡问题，是一种高效的数据挖掘和机器学习方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

朴素贝叶斯法基于贝叶斯定理和条件独立假设，是一种生成判别的方法，因为是生成概率分布模型，它的效率很高很快，且可适用小样本问题和样本不平衡问题。

4.1 朴素贝叶斯法的学习与分类

已知类集合为 $\nu = \{c_1,c_2,...,c_k\}$ ，对于一个输入的特征向量 $x_i$ ,我们的预测问题通常可以表示为求

$\underset{c_k}{argmax}P(Y=c_k|X=x_i)$

即求当输入向量 $X=x_i$ 时，分类结果y的概率最大的那一类。那么怎样求 $P(Y=c_k|X=x_i)$ 呢？

我们考虑用贝叶斯定理

$P(Y=c_k|X=x)=\frac{P(X=X_i)}{P(X=x,Y=c_k)}=\frac{P(X=x|Y=c_k)}{\sum_{k}P(X=x|Y=c_k)P(Y=c_k)}$

那么问题就转化为求

$P(X=x|Y=c_k)$ 和 $P(Y=c_k)$

那这俩又是什么玩意儿呢？ $P(X=x|Y=c_k)$ 也就是ck类的数据里面是 $X=x%u7684%u6570%u636E$ 的数据的概率， $P(Y=c_k)$ 就简单了，就是ck类的概率，直接求是不可能的。因为概率分布是未知的，但是既然我们有训练集，求 $P(Y=c_k)$ 就可以用统计的方法，我们用ck类的样本数/总样本数代替，这也符合大数定律。

那么还有一个 $P(X=x|Y=c_k)$ 怎么办呢？

由于X通常是一个向量 $X = (X^{(1)},X^{(2)},X^{(3)},....X^{(n)})$

求 $P(X=x|Y=c_k)$ = $P(X^{(1)},X^{(2)},X^{(3)},....X^{(n)}|Y=c_k)$ 显然是个比较复杂的多维概率分布。

那么我们就引入了一个假设：条件独立，写成公式就是 $P(X^{(i)},X^{(j)}|Y=c_k) = P(X^{(i)}|Y=c_k)* P(X^{(j)}|Y=c_k)$

那么上面的式子就写成了

$P(X^{(1)},X^{(2)},X^{(3)},....X^{(n)}|Y=c_k) = \coprod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$

对于每一项 $P(X^{(j)}=x^{(j)}|Y=c_k)$

意义就很明确了，就是在ck分类中，第j维特征为 $x^{(j)}$ 的概率，当然了，我们也需要用统计的方法求。那就是ck分类的样本中，第j维特征为 $x^{(j)}$ 的样本/ck类的总样本。

最后的公式为

$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{k}P(X=x|Y=c_k)P(Y=c_k)}$

$=\frac{P(Y=c_k)\prod _j P(X^{(j)} = x^{(j)}|Y=c_k)}{\sum _kP(Y=c_k)\prod _j P(X^{(j)}=x^{(j)}|Y=c_k)}$

因为对于每个ck分母都相同，因此只需要比较分母就可以了～

4.1.后验概率最小化的意义

我们设定损失函数

$L(Y,f(x))=\left\{\begin{matrix} 1 & Y\neq f(x) \\ 0 & Y=f(x) \end{matrix}\right.$

那么期望风险函数为

$R_{exp}(f)=E[L(Y,f(X))]=\sum_{k=1}^{N}L(c_k,y)P(c_k|X=x)$

$=P(y\neq c_k|X=x)*1+P(y=c_k|X=x)*0$

$=P(y\neq c_k|X=x)$

那么我们对它求最小化

$\underset{y\epsilon Y}{argmin}P(y\neq c_k,X=x)$

$=\underset{y\epsilon Y}{argmin}(1-P(y= c_k,X=x))$

$=\underset{y\epsilon Y}{argmax}P(y= c_k,X=x)$

因此朴素贝叶斯后验概率最大化是可以根据经验风险最小化得到的。

4.2 朴素贝叶斯法的参数估计

其实我们上面已经提到过了

$P(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i=c_k)}{N}$ ,其中I为计数函数，也就是上面说的ck类的样本数/总样本数 ，这符合极大似然估计，也符合大数定律。

$P(X^{j}= a_{jl}|Y=c_k) =\frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}$

为了避免可能出现的条件概率为0的情况，我们使用拉普拉斯平滑

$P_\lambda (X^{j}= a_{jl}|Y=c_k) =\frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda}{\sum_{i=1}^{N}I(y_i=c_k) { +S_j\lambda }}$ 其中 $S_j$ 为X的第j维，X的类别数