朴素贝叶斯算法

原创已于 2023-11-20 21:43:19 修改 · 194 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

于 2023-11-20 21:35:05 首次发布

机器学习专栏收录该内容

8 篇文章

订阅专栏

贝叶斯公式

贝叶斯公式是由英国数学家贝叶斯（Thomas Bayes）发展，用来描述两个条件概率之间的关系，比如P(A|B)和P(B|A)。按照乘法法则，可以立刻导出：P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)。贝叶斯公式也被称为贝叶斯定理或贝叶斯法则，是概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。

贝叶斯公式：

$P(A|B)=\frac{P(B|A)*P(A)}{P(B)}$

其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，P(B|A)表示在事件A发生的条件下事件B发生的概率，P(A)和P(B)分别表示事件A和事件B各自独立发生的概率。

朴素贝叶斯分类

朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。该分类器模型会给问题实例分配用特征值表示的类标签，类标签取自有限集合。它不是训练这种分类器的单一算法，而是一系列基于相同原理的算法：所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。

后验概率P(c|x)表示在给定相关因素x的条件下，某个类别c发生的概率。如果x包含多个相关因素，可以表示为x = (x1, x2, ..., xn)，其中每个xi代表一个相关因素：

拉普拉斯修正

拉普拉斯修正是一种改进的朴素贝叶斯分类器，解决了在朴素贝叶斯分类器中遇到的问题，即当某个特征值在训练集中未出现时，会导致整个实例的概率结果为0。拉普拉斯修正通过给每个计数加上一个较小的数（通常为1），既保证了每个属性概率非零又保证了概率和为1。

类先验概率公式

Dc表示训练集D中c类样本组成的集合，条件概率公式

$D_{c,x_{_{i}}}$ 表示Dc中在第i个属性熵取值为xi的样本组成的集合。采用拉普拉斯修正后，两个式子变为

拉普拉斯修正避免了因训练集不充分而导致概率估值为零的问题。

文本/垃圾邮件分类

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import os


# 定义存储邮件内容的列表
ham_emails = []
spam_emails = []

# 读取"ham"文件夹中的邮件数据
ham_folder = "ham"
for filename in os.listdir(ham_folder):
    with open(os.path.join(ham_folder, filename), 'r', encoding='latin1') as file:
        email_content = file.read()
        ham_emails.append(email_content)

# 读取"spam"文件夹中的邮件数据
spam_folder = "spam"
for filename in os.listdir(spam_folder):
    with open(os.path.join(spam_folder, filename), 'r', encoding='latin1') as file:
        email_content = file.read()
        spam_emails.append(email_content)

# 继续后续的邮件分类处理工作...


# 构建标签，0代表非垃圾邮件，1代表垃圾邮件
y = np.array([0] * len(ham_emails) + [1] * len(spam_emails))

# 合并邮件内容
emails = ham_emails + spam_emails

# 将文本转换为词频向量
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(emails)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = clf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("准确率：", accuracy)

结果：

总结

朴素贝叶斯分类是一种基于贝叶斯定理和特征条件独立假设的简单概率分类算法。它的特点包括基于贝叶斯定理进行分类、假设特征条件独立以简化计算过程。朴素贝叶斯分类的步骤包括数据预处理、计算先验概率、计算条件概率和预测分类。它的优点有简单高效、对小规模数据表现良好、鲁棒性强。朴素贝叶斯分类适用于文本分类、推荐系统、医学诊断等领域。总体来说，它是一种简单但实用的分类方法。