机器学习-朴素贝叶斯（邮件分类）

最新推荐文章于 2024-05-14 10:25:58 发布

原创最新推荐文章于 2024-05-14 10:25:58 发布 · 756 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #机器学习 #朴素贝叶斯 #邮件分类

机器学习专栏收录该内容

12 篇文章

订阅专栏

该博客介绍了朴素贝叶斯算法在邮件分类中的应用，通过计算概率进行分类。博主分享了学习过程中对概率论的理解挑战。

原理和前一个的侮辱词汇分类差不多，都是通过测试求出概率，概率大的为分类。（我概率论真的不好，好难理解。。。）

数据包

import numpy as np
import random
import re

"""创建词汇表"""
def createVocabList(dataSet):
    vocabSet = set([])
    for document in dataSet:  # 取出每一行文档（每行七个单词）
        vocabSet = vocabSet | set(document)  # 先将文档转换为set集合，无需不重复，再取并集
    return list(vocabSet)

"""判断输入集中单词是否在词汇表中"""
def setOfWordsVec(vocabList, inputSet):
    returnVec = [0] * len(vocabList)  # 创建一个元素都为0的向量
    for word in inputSet:  # 取输入集的每一个单词
        if word in vocabList:  # 如果单词在词汇表中
            returnVec[vocabList.index(word)] = 1  # 标志位置为一，表示所检测单词在词汇表中
        else:
            print("the word:$s is not in my Vocabulary!" % word)
    return returnVec

"""计算概率"""
def trainNB0(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)  # 样本个数，6
    numWords = len(trainMatrix[0])  # 每个样本长度，32
    pAbusive = sum(trainCategory) / float(numTrainDocs)  # 文档属于侮辱类的概率
    p0Num = np.ones(numWords)  # 非侮辱类情况下，某个单词出现的概率
    p1Num = np.ones(numWords)  # 侮辱类情况下，某个单词出现的概率
    p0Denom = 2.0  # 分母，都设置为2（我们需要的是两个比较，所以都设置为共同的分母不影响大小）
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]  # 每个侮辱类样本都相加（记录侮辱类每个单词的个数）
            p1Denom += sum(trainMatrix[i])  # 求和所有侮辱类样本的单词数
        else:
            p0Num += trainMatrix[i]  # 每个非侮辱类样本都相加（记录侮辱类每个单词的个数）
            p0Denom += sum(trainMatrix[i])  # 求和所有非侮辱类样本的单词数
    p1Vect = np.log(p1Num / p1Denom)  # 取对数，防止下溢出
    p0Vect = np.log(p0Num / p0Denom)
    return p0Vect, p1Vect, pAbusive

"""分类"""
def classifyNB(vecClassify, p0Vec, p1Vec, pClass1):
    p1 = sum(vecClassify * p1Vec) + np.log(pClass1)  # log(A*B)=logA+logB，前边没有log，是因为这需要两个数比较，同时log和都不log不会影响比较大小
    p0 = sum(vecClassify * p0Vec) + np.log(1 - pClass1)
    if p1 > p0:
        return 1
    else:
        return 0

"""切割字符串"""
def textParse(bigString):
    listOfTokens = re.split(r'\W+', bigString)  # 将一个字符串进行切割，并且去掉特殊字符（非字母非数字），去掉单个字母
    return [tok.lower() for tok in listOfTokens if len(tok) > 2]

"""邮件测试"""
def spamTest():
    docList = []
    classList = []
    fullText = []
    for i in range(1, 26):
        wordList = textParse(open('email/spam/%d.txt' % i).read())  # 读取垃圾邮件
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)  # 标志分类为1
        wordList = textParse(open('email/ham/%d.txt' % i).read())  # 读取正常邮件
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)  # 标志分类为0
    vocabList = createVocabList(docList)  # 创建词汇表
    trainingSet = list(range(50))  # 创建一个集合0-49
    testSet = []
    for i in range(10):  # 遍历十次，选十个测试数据
        randIndex = int(random.uniform(0, len(trainingSet)))  # 随机选取测试下标
        testSet.append(trainingSet[randIndex])  # 测试邮件添加到测试集合中
        del (trainingSet[randIndex])  # 在训练集合删除测试数据
    trainMat = []
    trainClasses = []
    for docIndex in trainingSet:
        trainMat.append(setOfWordsVec(vocabList, docList[docIndex]))  # 单词转换为词集模型（生成01矩阵来表示单词是否在词汇表中出现）
        trainClasses.append(classList[docIndex])  # 添加训练数据的分类标签
    p0V, p1V, pSpam = trainNB0(np.array(trainMat), np.array(trainClasses))
    errorCount = 0
    for docIndex in testSet:
        wordVector = setOfWordsVec(vocabList, docList[docIndex])  # 取出测试数据的词集模型
        if classifyNB(np.array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:  # 判断分类
            errorCount += 1
            print("分类错误的测试集：%s，正确分类：%s" % (docList[docIndex], classList[docIndex]))
    print("错误率：", float(errorCount) / len(testSet))


if __name__ == '__main__':
    spamTest()