朴素贝叶斯法实现 --基于贝叶斯估计（垃圾邮件分类）

最新推荐文章于 2023-11-20 17:30:37 发布

原创

最新推荐文章于 2023-11-20 17:30:37 发布 · 1.9k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#朴素贝叶斯 #机器学习

本文介绍了在实现朴素贝叶斯分类器时遇到的两个问题：概率乘积为0和下溢出。为解决这些问题，提出了初始化词频为1和分母为2的方法来避免0概率，以及通过取自然对数来防止下溢出和数值误差。这些优化策略确保了算法的正确性和稳定性。

                    
                    实现朴素贝叶斯的两个缺点 
1.在利用贝叶斯分类器对文档进行分类时，要计算多个概率的乘积以获得文档属于某个类别的概率，即计算 p(w0|1) * p(w1|1) * p(w2|1)。如果其中一个概率值为 0，那么最后的乘积也为 0。为降低这种影响，可以将所有词的出现数初始化为 1，并将分母初始化为 2 （取1 或 2 的目的主要是为了保证分子和分母不为0，大家可以根据业务需求进行更改）。 
2.另一个遇到的问题是下溢出，这是由于太多很小的数相乘造成的。当计算乘积 p(w0|ci) * p(w1|ci) * p(w2|ci)… p(wn|ci) 时，由于大部分因子都非常小，所以程序会下溢出或者得到不正确的答案。（用 Python 尝试相乘许多很小的数，最后四舍五入后会得到 0）。一种解决办法是对乘积取自然对数。在代数中有 ln(a * b) = ln(a) + ln(b), 于是通过求对数可以避免下溢出或者浮点数舍入导致的错误。同时，采用自然对数进行处理不会有任何损失。 
下图给出了函数 f(x) 与 ln(f(x)) 的曲线。可以看出，它们在相同区域内同时增加或者减少，并且在相同点上取到极值。它们的取值

最低0.47元/天解锁文章