机器学习笔记（2）——使用朴素贝叶斯算法过滤（中英文）垃圾邮件

在上一篇文章《使用朴素贝叶斯算法对文档分类详解》中，我们实现了用朴素贝叶斯算法对简单文档的分类，今天我们将利用此分类器来过滤垃圾邮件。

1. 准备数据——文本切分

之前算法中输入的文档格式为单词向量，例如['my', 'dog', 'has', 'flea', 'problems', 'help', 'please']，而实际情况中通常要处理的是文本（例如邮件），那么就要先将文本转换为词向量，在bayes.py中加入代码：

# 文件解析为向量
def textParse(bigString):
    import re
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok) > 2]

上面3行代码包含了很多内容，它的输入参数是字符串，返回字符串列表。

• 因为要使用正则表达式切分文本，首先引用了re模块。
• 调用re.split方法切分文本，正则表达式‘\W*’代表以单词和数字外的任意长度字符作为分隔符，前面的r表示原生字符，用于声明\不作为转义字符而是与W一起作为正则表达式。
• listOfTokens是被切分后的词列表， 但其中包含了空字符串，解析文本中的url产生的无含义的短字符串等。代码最后一行负责生成并返回一个列表， 列表的内容为listOfTok