《统计学习方法》(第四章)——朴素贝叶斯

李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 相关文章 - 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) - 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 个人认为朴素贝叶斯比较适合特征维度较小的情况,但是MNIST数据已到达上百唯的特征,概率联乘起来超过Python float能表示的极限,因此需要一些trick来保证精度。朴素贝叶斯按照传统不详述该算法,具体内容 阅读详情

朴素贝叶斯的学习与分类

  • 基本方法
      定义:设输入空间χ⊆Rn\chi\subseteq R^nχ⊆Rn为n维向量的集合,输出空间为类标记集合γ={c1,c2,..,ck}.\gamma=\{c_1,c_2,..,c_k\}.γ={c1​,c2​,..,ck​}.输入的特征向量x∈χ,x \in \chi ,x∈χ,输出类别y∈γ.Xy\in\gamma .Xy∈γ.X是定义在输入空间χ\chiχ上的随机向量,YYY是定义在输出空间γ\gammaγ上的随机变量。P(X,Y)P(X,Y)P(X,Y)是XXX和YYY的联合概率分布.训练数据集
          T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}由P(X,Y)P(X,Y)P(X,Y)独立同分布产生.
      朴素贝叶斯通过训练数据生成P(X,Y).P(X,Y).P(X,Y). 具体地,学习以下两个先验概率分布
          P(Y=ck),k=1,2,...,KP(Y=c_k),k=1,2,...,KP(Y=ck​),k=1,2,...,K
          P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck),k=1,2,..,KP(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,..,KP(X=x∣Y=ck​)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck​),k=1,2,..,K
      于是我们就学到联合概率分布,因为参数很多,我们假设所有条件独立。
          P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck)=∏i=1NP(X(i)=x(i)∣Y=ck)P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)P(X=x∣Y=ck​)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck​)=∏i=1N​P(X(i)=x(i)∣Y=ck​)
      因此对于实例我们可以这样预测
          P(Y=ck∣X=x)=P(X=x∣Y=ck)∗P(Y=ck)∑iP(X=x∣Y=ci)∗P(Y=ci)P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)*P(Y=c_k)}{\sum\limits_iP(X=x|Y=c_i)*P(Y=c_i)}P(Y=ck​∣X=x)=i∑​P(X=x∣Y=ci​)∗P(Y=ci​)P(X=x∣Y=ck​)∗P(Y=ck​)​
          P(Y=ck∣X=x)=∏i=1NP(X(i)=x(i)∣Y=ck)∗P(Y=ck)∑i∏i=1NP(X(j)=x(j)∣Y=ck)∗P(Y=ck),k=1,2,...,KP(Y=c_k|X=x)=\frac{\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)*P(Y=c_k)}{\sum\limits_i\prod_{i=1}^N P(X^{(j)}=x^{(j)}|Y=c_k)*P(Y=c_k)},k=1,2,...,KP(Y=ck​∣X=x)=i∑​∏i=1N​P(X(j)=x(j)∣Y=ck​)∗P(Y=ck​)∏i=1N​P(X(i)=x(i)∣Y=ck​)∗P(Y=ck​)​,k=1,2,...,K
          y=f(x)=argmaxck=∏i=1NP(X(i)=x(i)∣Y=ck)∗P(Y=ck)∑i∏i=1NP(X(j)=x(j)∣Y=ck)∗P(Y=ck)y=f(x)=argmax_{c_k}=\frac{\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)*P(Y=c_k)}{\sum\limits_i\prod_{i=1}^N P(X^{(j)}=x^{(j)}|Y=c_k)*P(Y=c_k)}y=f(x)=argmaxck​​=i∑​∏i=1N​P(X(j)=x(j)∣Y=ck​)∗P(Y=ck​)∏i=1N​P(X(i)=x(i)∣Y=ck​)∗P(Y=ck​)​
          y=f(x)=argmaxckP(Y=ck)∗∏i=1NP(X(i)=x(i)∣Y=ck)y=f(x)=argmax_{c_k}P(Y=c_k)*\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)y=f(x)=argmaxck​​P(Y=ck​)∗∏i=1N​P(X(i)=x(i)∣Y=ck​)

  • 后验概率最大化的含义
      后验概率最大类,等价于期望风险最小化。假设选择0−10-10−1损失函数
          L(Y,f(X))={+1Y≠f(X)−1Y=f(X)L(Y,f(X))=\begin{cases} +1 &Y\ne f(X)\\ -1 &Y= f(X)\\ \end{cases}L(Y,f(X))={+1−1​Y​=f(X)Y=f(X)​
        这里f(X)f(X)f(X)是决策函数,这时期望风险函数为Rexp(f)=E[L(Y,f(X))]R_{exp}(f)=E[L(Y,f(X))]Rexp​(f)=E[L(Y,f(X))]其为对联合概率分布P(X,Y)P(X,Y)P(X,Y)取的
      所以Rexp(f)=EX[∑k=1K[L(ck,f(X))]∗P(ck∣X)]R_{exp}(f)=E_{X}[\sum\limits_{k=1}^K[L(c_k,f(X))]*P(c_k|X)]Rexp​(f)=EX​[k=1∑K​[L(ck​,f(X))]∗P(ck​∣X)],为了其最小化只需针对每个xxx最小化就好了
      f(x)=argminy∈γ∑k=1KL(ck,y)∗P(ck∣X=x)=argminy∈γ∑k=1KP(y≠ck∣X=x)f(x)=argmin_{y \in\gamma}\sum\limits_{k=1}^KL(c_k,y)*P(c_k|X=x)=argmin_{y \in\gamma}\sum\limits_{k=1}^KP(y \ne c_k|X=x)f(x)=argminy∈γ​k=1∑K​L(ck​,y)∗P(ck​∣X=x)=argminy∈γ​k=1∑K​P(y​=ck​∣X=x)
         =argminy∈γ(1−P(y=ck∣X=x))=argmaxy∈γP(y=ck∣X=x)=argmin_{y \in\gamma}(1-P(y = c_k|X=x))=argmax_{y \in\gamma}P(y = c_k|X=x)=argminy∈γ​(1−P(y=ck​∣X=x))=argmaxy∈γ​P(y=ck​∣X=x)
         所以得到,f(x)=argmaxy∈γP(y=ck∣X=x)f(x)=argmax_{y \in\gamma}P(y = c_k|X=x)f(x)=argmaxy∈γ​P(y=ck​∣X=x)

朴素贝叶斯的参数估计

  • 极大似然估计
         P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,...,KP(Y=c_k)=\frac{\sum\limits_{i=1}^NI(y_i=c_k)}{N},k=1,2,...,KP(Y=ck​)=Ni=1∑N​I(yi​=ck​)​,k=1,2,...,K
         P(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)∑i=1NI(yi=ck),j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,KP(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum\limits_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum\limits_{i=1}^NI(y_i=c_k)},j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,KP(X(j)=ajl​∣Y=ck​)=i=1∑N​I(yi​=ck​)i=1∑N​I(xi(j)​=ajl​,yi​=ck​)​,j=1,2,...,n;l=1,2,..,Sj​;k=1,2,...,K,ajla_{jl}ajl​为第jjj个特征可能取值
  • 学习与分类算法
      按照极大似然估计统计出来后计算P(Y=ck)∗∏i=1NP(X(i)=x(i)∣Y=ck),k=1,2,...,KP(Y=c_k)*\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k),k=1,2,...,KP(Y=ck​)∗∏i=1N​P(X(i)=x(i)∣Y=ck​),k=1,2,...,K
      y=f(x)=argmaxy∈γP(y=ck∣X=x)y=f(x)=argmax_{y \in\gamma}P(y = c_k|X=x)y=f(x)=argmaxy∈γ​P(y=ck​∣X=x)
  • 贝叶斯估计
      因为直接统计会出现概率为0的现象,这很不合理,出现偏差。这时我们进行平滑处理,
         P(Y=ck)=∑i=1NI(yi=ck)+λN+K∗λ,k=1,2,...,KP(Y=c_k)=\frac{\sum\limits_{i=1}^NI(y_i=c_k)+\lambda}{N+K*\lambda},k=1,2,...,KP(Y=ck​)=N+K∗λi=1∑N​I(yi​=ck​)+λ​,k=1,2,...,K
         P(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)+λ∑i=1NI(yi=ck)+Sj∗λ,j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,KP(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum\limits_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda}{\sum\limits_{i=1}^NI(y_i=c_k)+S_j*\lambda},j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,KP(X(j)=ajl​∣Y=ck​)=i=1∑N​I(yi​=ck​)+Sj​∗λi=1∑N​I(xi(j)​=ajl​,yi​=ck​)+λ​,j=1,2,...,n;l=1,2,..,Sj​;k=1,2,...,K,ajla_{jl}ajl​
         KKK为种类数,SjS_jSj​为属性jjj的个数
课后实现
AI大模型与碳足迹评估结合模式及示范案例 AI大模型与碳足迹评估相结合,可以提供更精确、更快速的碳排放量计算,优化减排策略,并促进可持续发展目标的实现。 阅读详情

相关推荐

VMware vCenter 6.7证书过期急救指南:从503报错到完美修复的全流程

本文详细解析了VMware vCenter 6.7因STS证书过期导致503报错的根本原因,并提供了一套从诊断到修复的完整实战流程。内容包括使用checksts.py脚本检测STS证书状态,通过fixsts.sh脚本更新证书,以及利用Certificate-Manager全面重置所有过期证书,帮助管理员快速恢复服务并避免常见陷阱。

weixin_29234239的博客 774

李航统计学习方法-朴素贝叶斯

朴素贝叶斯法 朴素贝叶斯(naïve Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法[1]。 对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然 后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯 法实现简单,学习与预测的效率都很高,是一种常用的方...

JohnBanana的专栏 2531

【SPSS实战】手动实现Quade非参数协方差分析:从数据准备到结果解读

本文详细介绍了在SPSS中手动实现Quade非参数协方差分析的实战方法。当数据不满足正态分布等参数检验假设时,通过将协变量和因变量转换为秩,并利用秩回归残差进行Kruskal-Wallis组间比较,提供了一种清晰、可操作的近似解决方案。该方法有效解决了非正态数据的协变量调整问题,适用于实验研究和调查数据分析。

bean的博客 469

李航《统计学习方法》例4.1朴素贝叶斯法的参数估计 之 极大似然估计 ——实现代码

# 2021.01.15 By yangbocsu 例4.1试由表 4.1的训练数据学习一个朴素贝叶斯分类器并确定x = (2, S)T的类标记y。表中X(1), X(2)为特征,取值的集合分别为A1 = {1,2,3}, A2 ={S,M,L}, Y为类标记,Y∈C= {1,-1}。 # 2021.01.15 By yangbocsu import numpy as np import matplotlib.pyplot as plt import time train_data =...

少年一贯快马扬帆,道阻且长不转弯; 要盛大,要绚烂,要哗然; 要用理想的泰坦尼克,去撞现实的冰川; 要当烧赤壁的风,而非借鉴草船; 要为了一片海,就肯翻万山。 3121

GT911触摸驱动避坑指南:从寄存器读取到多点触控处理的5个关键步骤详解

本文深入解析了GT911触摸驱动开发中的关键步骤与常见问题。从硬件初始化、I2C通信建立,到核心寄存器操作、缓冲区状态管理,再到配置表烧录与多点触控数据解析,提供了详尽的避坑指南。文章结合STM32等平台的实战代码,重点阐述了驱动调试中的时序、中断处理和坐标映射等核心要点,帮助开发者高效实现稳定可靠的多点触控功能。

weixin_29189363的博客 677

2025年下半年网络规划设计师综合知识真题及答案解析

1983年,ARPANet完成技术转型,对此后的 Internet发展全关重要,这一转型是指( ) A.电路交换转向分组交换 B.商业化转型 C.民用化转型 D.从 NCP 协议转向 TCP/IP 答案:D 解析:ARPANet 最初使用 NCP (Network Control Protocol)协议进行主机问通信。1983年1月1日,ARPANet 正式切换到TCP/IP 协议族,为后续Internet的发展奠定了统一协议基础。

鹿鸣天涯 945

朴素贝叶斯算法---统计学习方法例4.1计算(MATLAB)

个人学习记录,只进行了书上例题的结果验证,没有改写成函数。 %%%%%% 朴素贝叶斯算法 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% clc clear X = {1,'S';1,'M';1,'M';1,'S';1,'S';2,'S';2,'M';2,'M';2,'L';2,'L';3,'L';3,'M';3,'M';3,'L';3...

xq_520的博客 991

微信小程序云开发 - 实现商家转账到零钱(微信企业付款到零钱) V3功能流程及完整实例代码,过微信云开发的云函数实现企业付款到零钱(提供详细示例源码纯云函数实现,证书、密钥、签名等各种常见问题解决方案

企业付款到零钱(微信小程序提现功能,提现到零钱)微信小程序-云函数实现微信企业付款到零钱功能,实现微信商户号中的企业付款到零钱的功能,微信小程序+云开发+商家转账至零钱+微信小程序用户提现,使用云开发环境的云函数实现微信小程序的支付功能,微信小程序实现微信企业付款到零钱功能的流程,V3 V2基于微信云开发的商家转账至零钱,小程序云函数企业付款到零钱功能实现,云开发实现微信商户支付企业付款到零钱功能,不用服务器纯云函数实现,详细示例代码demo教程,API证书错误,转账不到账怎么办,密钥生成有误,转账失败,有

🏆 前端领域优质创作者 1万+

【统计学习方法读书笔记】(四)朴素贝叶斯法

终于到了贝叶斯估计这章了,贝叶斯估计在我心中一直是很重要的地位,不过发现书中只用了不到10页介绍这一章,深度内容后,发现贝叶斯估计的基础公式确实不多,但是由于正态分布在生活中的普遍性,贝叶斯估计才应用的非常多吧! 默认输入变量用XXX表示,输出变量用YYY表示 概率公式描述: P(X=x)P(X=x)P(X=x):表示当X=xX=xX=x时的概率 P(X=x∣Y=ck)P(X=x|Y=c_k)P...

BINGO's BLOG 539

YOLOv11 模型剪枝实战:深入解析通道剪枝与层剪枝的策略与实现(含环境配置、微调技巧与部署测试)

YOLOv11模型剪枝技术通过移除冗余参数和结构来压缩模型,主要包括通道剪枝和层剪枝两种方法。通道剪枝通过评估批量归一化层的缩放因子γ确定通道重要性,移除不重要的特征通道;层剪枝则直接删除整个网络层或模块。剪枝流程包括评估重要性、移除冗余成分、微调模型和评估性能四个步骤。该技术可显著降低模型计算量和参数量,适合在资源受限设备上部署高性能目标检测模型。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 1961

DDR5中的On-Die Termination(ODT)详解:电阻值支持及其背后的秘密

DDR5支持多档ODT电阻值,范围从40Ω到480Ω,均基于240Ω标准参考电阻RZQR_{ZQ}RZQ​。不同电阻档位对应不同的信号负载和功耗需求。校准电压点关键,常用0.8×VDD进行精准调校。CA信号间ODT匹配必须严格控制,保证命令总线稳定。选择合适的ODT值是高速内存设计中不可忽视的细节。

weixin_43199439的博客 2103

统计学习方法:朴素贝叶斯方法

基于贝叶斯定理和特征条件独立假设的分类方法,朴素贝叶斯的基本假设是条件独立性 4.1 朴素贝叶斯法的学习和分类 4.1.1 基本方法 设输入空间是一个n维向量的集合,输出空间是类标记集合,输入为特征向量x,输出为类标记y,X是定义在输入空间的随机向量,Y是定义在输出空间的随机变量。P(X,Y)是X和Y的联合概率分布。 朴素贝叶斯法通过训练数据集学习联合概率分布。

xxiaozr的博客 1211

PC 端微信页面拆分及 JavaFx 使用

一、前言 对于一个知识点的学习过程来说,往往使用自己熟悉的工具或方式才更易于上手。因为所有同类型的知识点在抛出复杂的流程拨云见日后,所能得到的几乎都是同样的设计思想和实现理论。 在 Java 语言桌面版开发中,直至目前共提供了三套 UI 开发方式;Awt、Swing、JavaFx,以及一些扩展组件 SWT 等。在这三套 UI 组件中,JavaFx 是最新也是最为好用的,因为他提供了丰富的功能,以及...

bugstack虫洞栈 3615

统计学习方法第四章极大似然估计的朴素贝叶斯分类方法例题4.1代码实践

统计学习方法第四章极大似然估计的朴素贝叶斯分类方法例题4.1代码实践(需要查看贝叶斯估计的可以查看我的另一篇文章http://blog.csdn.net/grinandbearit/article/details/79045143) 代码如下: #-*- coding:utf-8 -*- from numpy import * #将书上的数据输入,这里懒得输入那么多个列表就用下array

GrinAndBearIt的博客 1835

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

统计学习方法第四章——朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。是通过给定training dataset学习联合概率分布的方法,是一种生成方法。

qq_43369406的博客 645

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

概率还不会的快看过来《统计学习方法》——第四章、朴素贝叶斯法

作者简介:整个建筑最重要的是地基,地基不稳,地动山摇。而学技术更要扎稳基础,关注我,带你稳扎每一板块邻域的基础。 博客主页:啊四战斗霸的博客 专栏:《统计学习方法》第二版——个人笔记 创作不易,走过路过别忘了三连击了哟!!! 关注作者,不仅幸运爆棚,未来更可期!!! ***有代码,就有注释!!! Triple attack(三连击):Comment,Like and Collect—>Attention 朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定训练数据集,首先基于特征条件.

weixin_64215932的博客 1858

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

《统计学习方法》第四章朴素贝叶斯总结与习题

朴素贝叶斯定义:朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。

qq_42714262的博客 831

《统计学习方法》 | 第四章 朴素贝叶斯总结及高斯朴素贝叶斯实现

本文部分总结内容摘自李航老师的《统计学习方法》及其配套课件 原文代码作者:https://github.com/wzyonggege/statistical-learning-method 在开始朴素贝叶斯的学习之前,先弄清楚几个概念:先验概率: 事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(x),P(y)。后验概率:...

Shannon 3175

李航 统计学习方法 第四章 朴素贝叶斯

李航 统计学习方法 第四章 朴素贝叶斯 基于贝叶斯定理和特征条件独立假设的分类方法.对于给定的训练数据集, 首先基于特征条件独立假设学习输入/输出的联合分布; 然后基于此模型, 对给定的输入x, 利用贝叶斯定理求出后验概率最大的输出y. 介绍朴素贝叶斯法, 包括朴素贝叶斯的学习和分类, 朴素贝叶斯法的参数估计算法. 基本方法 输入空间是n维向量的集合, 输出空间为类标记集合Y=c1,c2,...,cK\mathcal{Y}={c_1, c_2,..., c_K}Y=c1​,c2​,...,cK​, 输入为特

manong_dashen的博客 451

【统计学习方法】第四章 朴素贝叶斯

模型定位:朴素贝叶斯属于分类模型、生成模型 GitHub: 基本概念 条件概率:P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)​ 乘法公式:P(AB)=P(A∣B)∗P(B)P(AB)=P(A|B)*P(B)P(AB)=P(A∣B)∗P(B) 贝叶斯公式:P(Y∣X)=P(X∣Y)∗P(Y)P(X)P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)}P(Y∣X)=P(X)P(X∣Y)∗P(Y)​ 后验概率【指定了条件的条件概.

Superpig的博客 1367

《统计学习方法》第四章朴素贝叶斯学习笔记

朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y),然后求得后验概率分布P(Y|X)P(Y|X)。具体是利用训练数据学习P(X|Y)P(X|Y)和P(Y)P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X|Y)。 朴素贝叶斯法的基本假设是条件独立性: P(X=x|Y=ck)==P(X(1)=x(1),⋯,X(

wjlucc的专栏 1072

《统计学习方法》:第四章:朴素贝叶斯

该章结构一、朴素贝叶斯的学习和分类二、朴素贝叶斯的参数估计算法1、极大似然估计:2、贝叶斯估计: 一、朴素贝叶斯的学习和分类 假设训练集:T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1 ),(x_2,y_2 ),…,(x_N,y_N )\}T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)};由联合概率分布P(X,Y)P(X,Y)P(X,Y)...

ACM_hades的博客 758

李航《统计学习方法》学习笔记之——第四章:朴素贝叶斯法

“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础,系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。 由于能力有限,不足支持请大家多多指正,大家有什么想法也非常欢迎留言评论! 关于我的更多学习笔记,欢迎您关注“武汉AI算法研习”公众号! 本文分三个部分“【针对朴素贝叶斯法的理解】”、“【朴素贝叶斯算法原理】”、“【文本分类上应用】”来进行...

码农的科研笔记 657

《统计学习方法》第四章——朴素贝叶斯及python实现

一、概述 本文是《统计学习方法》的第四章,包含朴素贝叶斯分类器的原理与python实现。希望自己能坚持下去,完成整本书的学习 二、朴素贝叶斯算法 由于我们需要学习的参数为P(x,y)P(x,y)P(x,y),而P(X=x,Y=y)=P(X=x∣Y=y)P(Y=y)P(X=x,Y=y)=P(X=x|Y=y)P(Y=y)P(X=x,Y=y)=P(X=x∣Y=y)P(Y=y),其中P(X=x∣Y=y)P(X=x|Y=y)P(X=x∣Y=y)的参数是指数级的。当维度较大时,会发送维度灾难。 具体地说,X和Y的组合很

weixin_47675950的博客 481

统计学习方法 第四章 朴素贝叶斯法

第四章 朴素贝叶斯法 生成模型 是基于贝叶斯定理与特征条件独立假设的分类方法 训练方法: 首先基于特征条件独立假设学习输入/输出的联合概率分布; 然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。 4.1 朴素贝叶斯法的学习与分类 条件独立性假设:用于分类的特征在类确定的条件下都是条件独立的 后验概率最小化等价于期望风险最大化 4.2 朴素贝叶斯法的参数估计 ...

weixin_41045344的博客 225

统计学习方法第四章笔记——朴素贝叶斯

4.1 模型介绍  模型的输入空间为χ∈Rnχ∈R^n的nn维向量,输出空间为类标记集合y={c1,c2,…ck}y=\{c_1,c_2,…c_k\},XX是定义在χχ上的随机变量,YY是定义在yy上的随机变量,P(X,Y)P(X,Y)是XX和YY的联合分布,训练数据集T={(x1,y1),(x2,y2),…(xn,yn)}T=\{(x_1,y_1 ),(x_2,y_2 ),…(x_n,y_n)\}

1444
上一篇: 《统计学习方法》(第三章)—— K邻近
下一篇: 《统计学习方法》(第五章)—— 决策树
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值