朴素贝叶斯分类器

Python实现朴素贝叶斯分类器 python无框架实现朴素贝叶斯分类器 阅读详情

1.贝叶斯公式

  • 条件概率
    p(B|A)=p(AB)p(A)

    则
    p(AB)=p(A)p(B|A)
  • 全概率公式
    p(A)=p(B1)p(A|B1)+p(B2)p(A|B2)+...+p(Bn)p(A|Bn)
  • 贝叶斯公式
    p(Bi|A)=p(ABi)p(A)=p(A|Bi)p(Bi)Σj=0np(A|Bj)p(Bj)

    该公式给出了在事件A下,事件Bi发生的概率的计算方法。通常,将此公式成为后验概率公式,即在已知观察量A后得出的参数B的分布。其中p(Bi)称为先验概率,是人们根据经验给出的参数Bi的分布。
    贝叶斯方法与最大似然法的区别就在于引入了先验概率,通过先验概率可以避免最大似然法所带来的过拟合问题。

2.朴素贝叶斯方法

  • 对于B={B1,B2...Bn},其条件概率可表示为
    p(B|A)=p(B1|A)p(B2|A,B1)p(B3|A,B1,B2)...p(Bn|A,B1,...,Bn−1)
    然而在实际情况中,等式右边的公式很难计算出来。故我们做出一个较强的假设,即Bi是相互独立的,这样条件概率可以表示为
    p(B|A)=p(B1|A)p(B2|A)...p(Bn|A)
    这就是朴素贝叶斯方法。当然在实际情况中,这种相互独立的假设往往是不成立的,然而其还是可以在一定程度上给出对数据的描述。
  • 根据这个假设,我们可以分别计算p(Bi|A)∝p(A|Bi)p(Bi)若对∀j≠i, 有p(Bi|A)>p(Bj|A)则A就可归为Bi类

3.实例

在训练过程中,需要计算两个概率:
* 先验概率p(Bi)=Num(Bi)Num(B)
* 条件概率p(A|Bi)=Num(A,Bi)Num(Bi)

from numpy import *

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea','problems', 'help', 'please'],
        ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
        ['my', 'dalmation', 'is', 'so', 'cute','I', 'love', 'him'],
        ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
        ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
        ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec=[0, 1, 0, 1, 0, 1]
    return postingList, classVec

def createVocabList(dataSet):
    vocabSet = set([])
    for document in dataSet:
        vocabSet = vocabSet | set(document)
    return list(vocabSet)

def setOfWord2Vec(vocabList, inputSet):
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)]=1
        else:
            print "the word: %s is not in my vocabulary!" % word
    return returnVec

def trainNB0(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords)
    p1Num = ones(numWords)
    p0Denom = 2.0; p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i]==1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect =log(p1Num/p1Denom)
    p0Vect =log(p0Num/p0Denom)
    return p0Vect, p1Vect, pAbusive

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify*p1Vec) + log(pClass1)
    p0 = sum(vec2Classify*p0Vec) + log(1.0-pClass1)
    if p1 > p0:
        return 1
    else:
        return 0


def testingNB():
    listOPosts, listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWord2Vec(myVocabList, postinDoc))
    p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWord2Vec(myVocabList, testEntry))
    print testEntry, 'classified as:', classifyNB(thisDoc, p0V, p1V, pAb)
    testEntry=['stupid', 'garbage']
    thisDoc = array(setOfWord2Vec(myVocabList, testEntry))
    print testEntry, 'classified as:', classifyNB(thisDoc, p0V, p1V, pAb)

def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)]+=1
    return returnVec


def textParse(bigString):
    import re
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok)>2]

def spamTest():
    docList = []; classList=[]; fullText=[]
    for i in range(1, 26):
        wordList = textParse(open('email/spam/%d.txt' % i).read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)
        wordList = textParse(open('email/ham/%d.txt' % i).read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)
    vocabList = createVocabList(docList)
    trainingSet = range(50);
    testSet = []
    for i in range(10):
        randIndex = int(random.uniform(0, len(trainingSet)))
        testSet.append(trainingSet[randIndex])
        del(trainingSet[randIndex])
    trainMat=[]; trainClasses=[]
    for docIndex in trainingSet:
        trainMat.append(setOfWord2Vec(vocabList, docList[docIndex]))
        trainClasses.append(classList[docIndex])
    p0V, p1V, pSpam=trainNB0(array(trainMat), array(trainClasses))
    errorCount = 0
    for docIndex in testSet:
        wordVector = setOfWord2Vec(vocabList, docList[docIndex])
        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
            errorCount += 1
    print 'the error rate is: ',float(errorCount)/len(testSet)


def calcMostFreq(vocabList, fullText):
    import operator
    freqDict={}
    for token in vocabList:
        freqDict[token] = fullText.count(token)
    sortedFreq = sorted(freqDict.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedFreq[:30]

def localWords(feed1, feed0):
    import feedparser
    docList=[]; classList=[]; fullText=[]
    minLen = min(len(feed1['entries']), len(feed0['entries']))
    for i in range(minLen):
        wordList = textParse(feed1['entries'][i]['summary'])
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)
        wordList = textParse(feed0['entries'][i]['summary'])
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)
    vocabList = createVocabList(docList)
    top30Words = calcMostFreq(vocabList, fullText)
    for pairW in top30Words:
        if pairW[0] in vocabList:
            vocabList.remove(pairW[0])
    trainingSet = range(2*minLen)
    testSet=[]
    for i in range(20):
        randIndex = int(random.uniform(0, len(trainingSet)))
        testSet.append(trainingSet[randIndex])
        del(trainingSet[randIndex])
    trainMat=[]; trainClasses=[]
    for docIndex in trainingSet:
        trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
        trainClasses.append(classList[docIndex])
    p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))
    errorCount = 0
    for docIndex in testSet:
        wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
            errorCount += 1
    print 'the error rate is: ', float(errorCount)/len(testSet)
    return vocabList, p0V, p1V





if __name__=="__main__":
    listOPosts, listClasses = loadDataSet()
    print listOPosts, listClasses
    myVocabList = createVocabList(listOPosts)
    print myVocabList
    print setOfWord2Vec(myVocabList, listOPosts[0])
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWord2Vec(myVocabList, postinDoc))
    p0V, p1V, pAb = trainNB0(trainMat, listClasses)
    print p0V
    print testingNB()
    spamTest()
    import feedparser
    ny = feedparser.parse('http://newyork.craigslist.org/stp/index.rss')
    sf = feedparser.parse('http://sfbay.craigslist.org/stp/index.rss')
    vocabList,pSF,pNY=localWords(ny,sf)


朴素贝叶斯分类器原理介绍及python代码实现 频率学派和贝叶斯学派 说起概率统计,不得不提到频率学派和贝叶斯学派,通过对概率的不同理解而演变的两个不同的概率学派。 频率学派 核心思想:需要得到的参数​是一个确定的值,虽然未知,但是不会因为样本的变化而变化,样本​数据随机产生的,因此在数据样本无限大时,其计算出来的频率即为概率。其重点主要在于研究样本空间,分析样本​的分布 延展应用:最大似然估计(MLE) 贝叶斯学派 核心思想:需要得到的参数​是随机变量,而样本​则是固定的,其重点主要在于研究参数​的分布。 由于在贝叶斯 阅读详情

相关推荐

机器学习-朴素贝叶斯分类器

贝叶斯分类器是一种基于贝叶斯定理的概率模型,常用于文本分类、垃圾邮件过滤、情析等任务。该分类器基于特征之间的条件独立性假设,即给定类别下特征之间相互独立。它的工作原理是通过计算给定特征条件下类别的概率,并选择具有最高概率的类别作为预测结果。在本次的实验中,主要涉及朴素贝叶斯分类器,朴素贝叶斯分类器,它假设每个特征对于类别的影响是相互独立的,即使这在实际情况中并不成立。常见的朴素贝叶斯分类器包括多项式朴素贝叶斯、伯努利朴素贝叶斯和高斯朴素贝叶斯,它们分别适用于不同类型的特征分布。

m0_74216325的博客 2090

机器学习之朴素贝叶斯分类器原理详解、公式推导(手推)、面试问题、简单实例(python实现,sklearn调包)

主要内容分为理论推导和代码实现以及面试宝典三个部分。 理论推导主要是贝叶斯的推导以及朴素贝叶斯计算实例。 代码实现包括手动实现朴素贝叶斯和sklearn调用,实例有3个,分别对应离散型诗句和连续型数据两种情况。 面试宝典是一部分《机器学习》中的课后习题和一些面试题。

如果没有躺赢的命,那就站起来奔跑,你的努力一定会对得起这一路的颠沛流离。 2万+

BERT分类器和朴素贝叶斯分类器比较

预训练模型代表了当前NLP的前沿技术,适合追求高性能的复杂场景;而朴素贝叶斯作为经典算法,在资源受限和简单任务中仍有不可替代的价值。选择时需根据数据规模、任务复杂度、实时性要求和资源限制综合权衡。对于资源受限场景,可使用预训练模型的轻量级变体(如DistilBERT)或结合特征工程增强朴素贝叶斯的表现。

Yulay专栏 1148

机器学习笔记07---朴素贝叶斯分类器

朴素贝叶斯分类器

m0_64007201的博客 3947

朴素贝叶斯分类器算法通俗讲解

首先会用到贝叶斯决策理论,说一下。贝叶斯决策理论的核心思想是:选择具有最高概率的决策。例如一个点(x, y),属于类别1的概率是p1(x, y),属于类别2的概率是p2(x, y),用贝叶斯决策理论来判断它的类别: 如果p1(x, y) > p2(x, y),那么类别1; 如果p1(x, y) < p2(x, y),那么类别2。 ...

u012494321的博客 2154

几种朴素贝叶斯分类器

* 朴素的由来 * 朴素的假设:认为各个特征相互独立。 * 种类 * 1. 高斯朴素贝叶斯(Gaussian Naive Bayes) 2. 多项式朴素贝叶斯(Multinomial Naive Bayes) 3. 伯努利朴素贝叶斯( Bernoulli Naive Bayes)朴素贝叶斯最常见的分类方法:根据贝叶斯公式可以得到 ŷ =argminyP(y)∏i=1NP(xi|y)

Leo00000001的博客 1708

机器学习笔记之线性分类——朴素贝叶斯分类器(Naive Bayes Classifier)

本节将介绍一个经典的基于线性分类的概率生成模型——朴素贝叶斯分类器(Naive Bayes Classifier)。

静静的学习就好 2871

朴素贝叶斯分类器(Naive Bayes classifier)

朴素贝叶斯 生活中很多场合需要用到分类,比如新闻分类、病人分类等等。 本文介绍朴素贝叶斯分类器(Naive Bayes classifier),它是一种简单有效的常用分类算法。 病人分类 让我从一个例子开始讲起,你会看到贝叶斯分类器很好懂,一点都不难。某个医院早上收了六个门诊病人,如下表。 症状  职业   疾病 打喷嚏 护士   感冒 打喷嚏 农夫   过敏 头痛  建筑工人 脑震荡 头痛  建...

qq_36134437的博客 2296

【机器学习】朴素贝叶斯分类器原理(理论+图解)

  简 介:下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。   关键词:Python、机器学习、贝叶斯分类器 一、贝叶斯网络 我们都学过贝叶斯公式,就是 p(b∣a)=p(a∣b)p(b)p(a)p(b|a)=\frac{p(a|b)p(b)}{p(a)}p(b∣a)=p(a)p(a∣b)p(b)​,它表明了两个随机变量之间的概率关系,意思是在a条件发生的前提下,b发生的概率为多大。所以我们可以将这个性质利用到我们的建模..

优快云 精品推荐 3926

为什么RingMo能成为遥感领域的首个生成式自监督基础模型?

RingMo作为遥感领域首个生成式自监督基础模型,通过创新的图像掩码建模技术解决了传统方法在遥感图像处理中的挑战。该模型利用两百万张多元数据集进行预训练,在小目标检测、场景分类等任务上表现卓越,显著提升了性能指标。RingMo的技术突破为遥感图像解译提供了高效解决方案,降低了标注成本并增强了模型泛化能力。

ll5678的博客 692

从IR Drop到EM分析:数字IC电源规划中那些没人明说的细节(以MTCMOS配置为例)

本文深入探讨数字IC后端设计中电源规划的关键细节,特别关注MTCMOS配置、电源网络电阻最小化和level shifter供电等实战技巧。通过分析IR Drop和EM问题,提供优化floorplan和powerplan的具体策略,帮助工程师避免常见陷阱,提升芯片设计的稳定性和可靠性。

q9w8e7r6t5的博客 514

朴素贝叶斯分类器(Naive Bayes Classifiers)

原文地址:Naive Bayes Classifiers 本文讨论的是朴素贝叶斯分类器( Naive Bayes classifiers)背后的理论以及其的实现。朴素贝叶斯分类器是分类算法集合中基于贝叶斯理论的一种算法。它不是单一存在的,而是一个算法家族,在这个算法家族中它们都有共同的规则。例如每个被分类的特征对与其他的特征对都是相互独立的。开始之前,先看一下数据集。这是一个虚构的数据集,这个

K.Sun 6万+

Challenge 6 - OSCP C

开放了161端口,直接snmpbulkwalk扫描得到账号密码试了那几个web端口,发现可以登录8083的vesta,但是需要用户名大写Jack接着登录之后里面可以创建计划任务,直接弄个反弹shell,一分钟回弹。得到shell后,运行linpeas.sh提供了几个可能的漏洞,挨个试一下。

羽的博客 4162

朴素贝叶斯西瓜分类器

dataSet=[['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.697, 0.460, '好瓜'],['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', 0.774, 0.376, '好瓜'],['乌黑', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.634, 0.264, '好瓜'],['青绿', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', 0.608, 0.318, '好瓜'],

2301_80974345的博客 1978

q-learning精讲

Q-learning Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略,告诉Agent在什么情况下要采取什么行动。 它不需要环境模型,可以处理随机转换和奖励的问题,而无需进行调整。 对于任何有限马尔可夫决策过程(FMDP),Q学习找到一种最优的策略,即从当前状态开始,它在任何和所有后续步骤中最大化总奖励的预期值。在给定无限探索时间和部分随机策略的情况...

weixin_41697507的博客 1万+

电能质量仿真:电能质量改善措施仿真_(12).电能质量改善措施综合仿真案例

假设我们有一个微电网系统,该系统包含分布式电源(如光伏板、风力发电机)、储能设备、负荷和电网连接。电压波动:由于负荷的波动和分布式电源的间歇性输出,系统电压出现了不稳定的情况。谐波污染:非线性负荷和逆变器的运行导致系统中出现了显著的谐波污染。频率偏差:分布式电源的波动和负荷的突变导致系统频率出现了偏差。我们需要通过仿真来评估这些问题的影响,并提出相应的改善措施。

2401_87715305的博客 1361

机器学习实验 - 朴素贝叶斯分类器

西南交通大学 机器学习实验2 朴素贝叶斯分类器 (1)了解朴素贝叶斯与半朴素贝叶斯的区别与联系,掌握高斯分布、多项式分布和伯努利分布的朴素贝叶斯计算方法。(2)编程实现朴素贝叶斯分类器,基于多分类数据集,使用朴素贝叶斯分类器实现多分类预测,通过精确率、召回率和F1值度量模型性能。

qq_41626672的博客 6450

(四) OpenClaw-Skill技能全面了解和自定义技能

OpenClaw Skills是提升AI代理功能性的关键模块。本文系统介绍了Skills的核心概念、获取渠道和创建方法。Skills作为标准化指令集合,能让OpenClaw从单纯理解升级为实际执行任务,相比传统System Prompt具有模块化、可复用等优势。用户可通过Clawhub官方商店、GitHub社区等渠道获取5700+现成技能,或按需开发自定义Skill。文章详细演示了创建"Hello World"示例技能的完整流程,包括编写Python脚本、配置SKILL.md文件、部署。

直到世界的尽头 8300

朴素贝叶斯分类器本质上是线性分类器

原文地址:http://blog.163.com/rustle_go_go/blog/static/20294501420122110431306/      在准备组会报告的时候,无意中发现了“朴素贝叶斯分类器本质上是线性分类器”的说法。整理了相关的资料,对这个说法有了更深的了解,写了这篇博文。欢迎各路大牛拍砖。      一开始介绍朴素贝叶斯分类器和线性分类器的定义,然后介绍两种是

李立的博客 1538

晶闸管选型参数,结构原理,工艺与注意问题总结

闸管(Thyristor)是一种半导体开关器件,也被称为可控硅整流器(SCR, Silicon Controlled Rectifier)。它可以在高电压和大电流条件下工作,常被用于交流电的控制和整流。本文对晶闸管的工作原理,结构特点,工艺流程,选型参数及设计注意事项进行总结。

fydar的博客 1286

游戏大厂状态同步与帧同步技术全解析——让虚拟世界万物协同的“时间齿轮”

本文深入解析了大厂游戏开发中的两种核心同步技术:状态同步和帧同步。状态同步适合大型MMO和FPS游戏,由服务端计算并广播世界状态;帧同步则通过统一操作输入实现MOBA和RTS游戏的绝对公平。文章详细比较了两者的差异、适用场景和底层实现原理,并揭秘了《王者荣耀》《PUBG》等热门游戏的同步机制。同时探讨了本地预测、延迟补偿、防作弊等关键技术,以及未来AI和云游戏带来的同步新挑战,为开发者提供了全面的技术参考和实践指南。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 924

贝叶斯分类器(一):朴素贝叶斯分类器与半朴素贝叶斯分类器

贝叶斯分类器理论知识。包括贝叶斯决策论,朴素贝叶斯分类器,半朴素贝叶斯分类器。

rongrongyaofeiqi的博客 1万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 统计基础
traceorigin
博客等级 码龄15年 38粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值