sklearn中的朴素贝叶斯模型及其应用

最新推荐文章于 2025-09-11 23:49:31 发布

weixin_30593261

最新推荐文章于 2025-09-11 23:49:31 发布

阅读量76

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能

原文链接：http://www.cnblogs.com/XLxielin/p/9999977.html

本文探讨了三种朴素贝叶斯模型（高斯、多项式、伯努利）在Iris数据集上的应用，比较了它们的准确率，并展示了如何使用交叉验证评估模型。此外，还介绍了垃圾邮件分类的基本步骤，包括数据预处理和训练集测试集的划分。

#1.使用朴素贝叶斯模型对iris数据集进行花分类
#尝试使用3种不同类型的朴素贝叶斯：
#高斯分布型,多项式型,伯努利型

#GaussianNB
from sklearn import datasets
iris = datasets.load_iris()

from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()  #建立模型
pred=gnb.fit(iris.data,iris.target) #模型训练
y_pred=pred.predict(iris.data) #分类预测

print(iris.data.shape[0],(iris.target !=y_pred).sum())

150 6

#BernoulliNB
from sklearn import datasets
iris = datasets.load_iris()

from sklearn.naive_bayes import BernoulliNB
gnb = BernoulliNB()  #建立模型
gnb.fit(iris.data,iris.target) #模型训练
y_pred=gnb.predict(iris.data) #分类预测

print(iris.data.shape[0],(iris.target !=y_pred).sum())

150 100

#MultinomialNB
from sklearn import datasets
iris = datasets.load_iris()

from sklearn.naive_bayes import MultinomialNB
gnb = MultinomialNB()  #建立模型
pred=gnb.fit(iris.data,iris.target) #模型训练
y_pred=pred.predict(iris.data) #分类预测

print(iris.data.shape[0],(iris.target !=y_pred).sum())

150 7

#2.使用sklearn.model_selection.cross_val_score()，对模型进行验证。

#检测模型的好坏BernoulliNB
from sklearn.naive_bayes import BernoulliNB
from sklearn.model_selection import cross_val_score
gnb = BernoulliNB() 
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuray:%.3f"%scores.mean())

Accuray:0.333

#检测模型的好坏MultinomialNB
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import cross_val_score
gnb = MultinomialNB() 
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuray:%.3f"%scores.mean())

Accuray:0.953

#检测模型的好坏GaussianNB
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import cross_val_score
gnb = GaussianNB() 
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuray:%.3f"%scores.mean())

Accuray:0.953

 
#3. 垃圾邮件分类
#数据准备：
#•用csv读取邮件数据，分解出邮件类别及邮件内容。
#•对邮件内容进行预处理：去掉长度小于3的词，去掉没有语义的词等

import csv
file_path=r'D:\垃圾邮箱邮件数据\SMSSpamCollectionjsn.txt'
sms=open(file_path,'r',encoding='utf-8')
sms_data=[]  #邮件的内容
sms_label=[] #邮件的类别
csv_reader=csv.reader(sms,delimiter='\t')
for line in csv_reader:
    sms_label.append(line[0])
    sms_data.append(line[1])
sms.close()
print(len(sms_label))
sms_label

import csv
file_path=r'D:\垃圾邮箱邮件数据\SMSSpamCollectionjsn.txt'
sms=open(file_path,'r',encoding='utf-8')
sms_data=[]
sms_label=[]
csv_reader=csv.reader(sms,delimiter='\t')
for line in csv_reader:
    sms_label.append(line[0])
    sms_data.append(line[1])
sms.close()
sms_data

sms_data1=str(sms_data) #将列表转化为字符串
sms_data2=sms_data.lower() #对大小写进行处理
sms_data3=sms_data.split() #变成列表的形式
sms_data4=[] #存放处理后的数据
i=0
for i in sms_data: #去掉长度小于3的单词
    if len(i)>4:
        sms_data4.append(i)
        continue

#训练集和测试集数据划分
#•from sklearn.model_selection import train_test_split

from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(sms_data,sms_label,test_size = 0.3,random_state=0,stratify=sms_label)

x_train
x_test

转载于:https://www.cnblogs.com/XLxielin/p/9999977.html