机器学习实战第四章-朴素贝叶斯

一，朴素贝叶斯概述

基于贝叶斯决策理论的分类方法，本质是一种线性分类，通过最大后验概率来找到最有可能的类别。（而最大后验概率等价于使用0-1损失函数的期望风险最小化）。

• 优点：在数据较少的情况下仍然有效，可以处理多类别问题。
• 缺点：对于输入数据的准备方式较为敏感。
• 适用数据类型：标称型数据。

二，朴素贝叶斯原理

贝叶斯公式如下：

$$p(c|x)=\frac{p(x|c)p(c)}{p(x)}$$
显然在比较$p(c_1|x)$和$p(c_2|x)$的大小时，由于$p(x)$对于两者是一样的，所以利用上述贝叶斯公式只要比较$p(c_1)p(x|c_1)$和$p(c_2)p(x|c_2)$的大小即可。

而$p(c)$和$p(x|c)$均可以利用数据集统计得到。

“朴素”指的是： 每个特征出现的概率与其他特征相互独立。

三，使用朴素贝叶斯对电子邮件进行分类

1. 收集数据：提供文本文件。
2. 准备数据：将文本文件解析成词条向量。
3. 分析数据：检查词条确保解析的正确性。
4. 训练算法：trainNB()，即依据条件独立性假设和位置独立性假设从数据集中统计出需要用到的参数。
5. 测试算法：使用classifyNB()，主要依据贝叶斯公式。
6. 使用算法：利用所得参数，通过最大化后验概率来对新文本进行分类。

四，其他

1，利用正则表达式切分文本

Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:18:55) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import re
>>> regEx = re.compile('\\W*')
>>> sent = 'The book is the best book on Python or M.L. I have ever laid eyes upon.'
>>> listOfTokens = regEx.split(sent)
__main__:1: FutureWarning: split() requires a non-empty pattern match.
>>> listOfTokens
['The', 'book', 'is', 'the', 'best', 'book', 'on', 'Python', 'or', 'M', 'L', 'I', 'have', 'ever', 'laid', 'eyes', 'upon', '']
>>> tokens = [tok.lower() for tok in listOfTokens if len(tok) > 0]
>>> tokens
['the', 'book', 'is', 'the', 'best', 'book', 'on', 'python', 'or', 'm', 'l', 'i', 'have', 'ever', 'laid', 'eyes', 'upon']
>>>