【python和机器学习入门3】朴素贝叶斯1——过滤恶意留言

最新推荐文章于 2024-07-27 22:43:47 发布

momottyy

最新推荐文章于 2024-07-27 22:43:47 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习 python

本文链接：https://blog.youkuaiyun.com/maotianyi941005/article/details/82593449

该博客介绍了如何使用朴素贝叶斯理论构建一个恶意留言过滤器，通过训练数据计算侮辱类和非侮辱类的概率，对文本进行二分类。内容包括数据准备、训练模型以及完整代码展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考博客：朴素贝叶斯基础篇之言论过滤器（po主Jack-Cui,《——大部分内容转载自

参考书籍：《机器学习实战》——第四章4.5

一朴素贝叶斯理论

二 demo：过滤网站恶意留言

以在线社区留言为例。为了不影响社区的发展，我们要屏蔽侮辱性的言论，所以要构建一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标志为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类型：侮辱类和非侮辱类，使用1和0分别表示（本demo最终构建了一个二分类器）。

我们把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现所有文档中的单词，再决定将哪些单词纳入词汇表或者说所要的词汇集合，然后必须要将每一篇文档转换为词汇表上的向量。简单起见，我们先假设已经将本文切分完毕，存放到列表中，并对词汇向量进行分类标注。

1.1 准备数据

准备数据包括3块：导入数据，创建词汇表，构建词向量

本demo的数据直接假设已经将文档切分成词条。数据包括6个切分好的文档词条和6个文档对应分类。

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                #切分的词条
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],