朴素贝叶斯分类

最新推荐文章于 2021-12-24 16:27:50 发布

原创最新推荐文章于 2021-12-24 16:27:50 发布 · 387 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何使用贝叶斯算法对文本数据进行分类，包括数据准备、特征提取、模型训练及测试过程。重点阐述了贝叶斯算法在处理少量数据和多分类问题时的优势，同时指出了其在数据准备方式上的敏感性，并提供了解决策略。通过实验证明了该方法的有效性和实用性。

一，优缺点*

优点：在数据较少的情况下仍然有效，可以处理多分类的问题
缺点：对于输入的数据准备方式较为敏感
适用数据类型：标称型数据。

二，原理

**
利用公式一和公式二的推导我们可以得到公式三：

贝叶斯假设：
这里写图片描述

三，实践(python)

def loadDataSet():
postingList=[[‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’],
[‘maybe’, ‘not’, ‘take’, ‘him’, ‘to’, ‘dog’, ‘park’, ‘stupid’],
[‘my’, ‘dalmation’, ‘is’, ‘so’, ‘cute’, ‘I’, ‘love’, ‘him’],
[‘stop’, ‘posting’, ‘stupid’, ‘worthless’, ‘garbage’],
[‘mr’, ‘licks’, ‘ate’, ‘my’, ‘steak’, ‘how’, ‘to’, ‘stop’, ‘him’],
[‘quit’, ‘buying’, ‘worthless’, ‘dog’, ‘food’, ‘stupid’]]
classVec = [0,1,0,1,0,1]
return postingList,classVec

def createVocaList(dataSet):
vacabSet=set([])
for docment in dataSet:
vacabSet=set(docment) | vacabSet
return list(vacabSet)

def setWords2Vec(VocabList,inputSet):
returnVec=[0]*len(VocabList)
for word in inputSet:
if word in VocabList:
returnVec[VocabList.index(word)]=1
return returnVec

def trainData(trainMat,Listclass):
category1_sum=0.0;
category0_sum=0.0;
sample_len=len(Listclass)
pa=sum(Listclass)/float(sample_len)
feature_len=len(trainMat[0])
p1Num=zeros(feature_len)
p0Num=zeros(feature_len)
for i in range(sample_len):
if Listclass[i]==1:
p1Num+=trainMat[i]
category1_sum+=sum(trainMat[i])
else:
p0Num+=trainMat[i]
category0_sum+=sum(trainMat[i])
p1=p1Num/category1_sum
p0=p0Num/category0_sum
return p0,p1,pa

if name == ‘main‘:
ListWord,Listclass=loadDataSet() #加载数据集
VocabList=createVocaList(ListWord) #进行产生独一无二的数据特征值
trainMat=[] #将数据进行统一格式
for word in ListWord:
trainMat.append(setWords2Vec(VocabList,word))
Cate0,Cate1,pa=trainData(trainMat,Listclass) #对数据进行训练

存在的问题：
(1)利用贝叶斯进行分类时，要计算多个概率的乘积，即是：
$p(x_{0}|y_{i})p(x_{1}|y_{i})p(x_{2}|y_{i})$ ,如果其中的一个概率值为0，那么最后的积分也为0。为了降低这种影响，可以将所有词的初始值为1，将分母初始化为2.
p1Num=ones(feature_len)
p0Num=ones(feature_len)
category1_sum=2.0;
category0_sum=2.0;
(2)第二个问题是下溢出，由于太多很小的数相乘造成的，当计算乘积
$p(x_{0}|y_{i})p(x_{1}|y_{i})p(x_{2}|y_{i})$ 时，由于大部分因子都非常小，所以程序会下溢或得不到正确的答案。通过取对数的方式解决问题。

对测试集进行测试，

def classBayes(testvalue,Cate0,Cate1,pa):
p1=sum(testvalue*Cate1)+log(pa)
p0=sum(testvalue*Cate0)+log(1-pa)
if p1>p0:
return 1
else:
return 0

testEntry=[‘love’,’my’,’dalmation’]
testvalue=array(setWords2Vec(VocabList,testEntry))
print testEntry,’classfied is’, classBayes(testvalue,Cate0,Cate1,pa)
testEntry=[‘stupid’,’garbage’]
testvalue=array(setWords2Vec(VocabList,testEntry))
print testEntry,’classfied is’, classBayes(testvalue,Cate0,Cate1,pa)