《统计学习方法》(第四章)——朴素贝叶斯

李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 相关文章 - 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) - 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 个人认为朴素贝叶斯比较适合特征维度较小的情况,但是MNIST数据已到达上百唯的特征,概率联乘起来超过Python float能表示的极限,因此需要一些trick来保证精度。朴素贝叶斯按照传统不详述该算法,具体内容 阅读详情

朴素贝叶斯的学习与分类

  • 基本方法
      定义:设输入空间χ⊆Rn\chi\subseteq R^nχ⊆Rn为n维向量的集合,输出空间为类标记集合γ={c1,c2,..,ck}.\gamma=\{c_1,c_2,..,c_k\}.γ={c1​,c2​,..,ck​}.输入的特征向量x∈χ,x \in \chi ,x∈χ,输出类别y∈γ.Xy\in\gamma .Xy∈γ.X是定义在输入空间χ\chiχ上的随机向量,YYY是定义在输出空间γ\gammaγ上的随机变量。P(X,Y)P(X,Y)P(X,Y)是XXX和YYY的联合概率分布.训练数据集
          T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}由P(X,Y)P(X,Y)P(X,Y)独立同分布产生.
      朴素贝叶斯通过训练数据生成P(X,Y).P(X,Y).P(X,Y). 具体地,学习以下两个先验概率分布
          P(Y=ck),k=1,2,...,KP(Y=c_k),k=1,2,...,KP(Y=ck​),k=1,2,...,K
          P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck),k=1,2,..,KP(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,..,KP(X=x∣Y=ck​)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck​),k=1,2,..,K
      于是我们就学到联合概率分布,因为参数很多,我们假设所有条件独立。
          P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck)=∏i=1NP(X(i)=x(i)∣Y=ck)P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)P(X=x∣Y=ck​)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck​)=∏i=1N​P(X(i)=x(i)∣Y=ck​)
      因此对于实例我们可以这样预测
          P(Y=ck∣X=x)=P(X=x∣Y=ck)∗P(Y=ck)∑iP(X=x∣Y=ci)∗P(Y=ci)P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)*P(Y=c_k)}{\sum\limits_iP(X=x|Y=c_i)*P(Y=c_i)}P(Y=ck​∣X=x)=i∑​P(X=x∣Y=ci​)∗P(Y=ci​)P(X=x∣Y=ck​)∗P(Y=ck​)​
          P(Y=ck∣X=x)=∏i=1NP(X(i)=x(i)∣Y=ck)∗P(Y=ck)∑i∏i=1NP(X(j)=x(j)∣Y=ck)∗P(Y=ck),k=1,2,...,KP(Y=c_k|X=x)=\frac{\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)*P(Y=c_k)}{\sum\limits_i\prod_{i=1}^N P(X^{(j)}=x^{(j)}|Y=c_k)*P(Y=c_k)},k=1,2,...,KP(Y=ck​∣X=x)=i∑​∏i=1N​P(X(j)=x(j)∣Y=ck​)∗P(Y=ck​)∏i=1N​P(X(i)=x(i)∣Y=ck​)∗P(Y=ck​)​,k=1,2,...,K
          y=f(x)=argmaxck=∏i=1NP(X(i)=x(i)∣Y=ck)∗P(Y=ck)∑i∏i=1NP(X(j)=x(j)∣Y=ck)∗P(Y=ck)y=f(x)=argmax_{c_k}=\frac{\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)*P(Y=c_k)}{\sum\limits_i\prod_{i=1}^N P(X^{(j)}=x^{(j)}|Y=c_k)*P(Y=c_k)}y=f(x)=argmaxck​​=i∑​∏i=1N​P(X(j)=x(j)∣Y=ck​)∗P(Y=ck​)∏i=1N​P(X(i)=x(i)∣Y=ck​)∗P(Y=ck​)​
          y=f(x)=argmaxckP(Y=ck)∗∏i=1NP(X(i)=x(i)∣Y=ck)y=f(x)=argmax_{c_k}P(Y=c_k)*\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k)y=f(x)=argmaxck​​P(Y=ck​)∗∏i=1N​P(X(i)=x(i)∣Y=ck​)

  • 后验概率最大化的含义
      后验概率最大类,等价于期望风险最小化。假设选择0−10-10−1损失函数
          L(Y,f(X))={+1Y≠f(X)−1Y=f(X)L(Y,f(X))=\begin{cases} +1 &Y\ne f(X)\\ -1 &Y= f(X)\\ \end{cases}L(Y,f(X))={+1−1​Y​=f(X)Y=f(X)​
        这里f(X)f(X)f(X)是决策函数,这时期望风险函数为Rexp(f)=E[L(Y,f(X))]R_{exp}(f)=E[L(Y,f(X))]Rexp​(f)=E[L(Y,f(X))]其为对联合概率分布P(X,Y)P(X,Y)P(X,Y)取的
      所以Rexp(f)=EX[∑k=1K[L(ck,f(X))]∗P(ck∣X)]R_{exp}(f)=E_{X}[\sum\limits_{k=1}^K[L(c_k,f(X))]*P(c_k|X)]Rexp​(f)=EX​[k=1∑K​[L(ck​,f(X))]∗P(ck​∣X)],为了其最小化只需针对每个xxx最小化就好了
      f(x)=argminy∈γ∑k=1KL(ck,y)∗P(ck∣X=x)=argminy∈γ∑k=1KP(y≠ck∣X=x)f(x)=argmin_{y \in\gamma}\sum\limits_{k=1}^KL(c_k,y)*P(c_k|X=x)=argmin_{y \in\gamma}\sum\limits_{k=1}^KP(y \ne c_k|X=x)f(x)=argminy∈γ​k=1∑K​L(ck​,y)∗P(ck​∣X=x)=argminy∈γ​k=1∑K​P(y​=ck​∣X=x)
         =argminy∈γ(1−P(y=ck∣X=x))=argmaxy∈γP(y=ck∣X=x)=argmin_{y \in\gamma}(1-P(y = c_k|X=x))=argmax_{y \in\gamma}P(y = c_k|X=x)=argminy∈γ​(1−P(y=ck​∣X=x))=argmaxy∈γ​P(y=ck​∣X=x)
         所以得到,f(x)=argmaxy∈γP(y=ck∣X=x)f(x)=argmax_{y \in\gamma}P(y = c_k|X=x)f(x)=argmaxy∈γ​P(y=ck​∣X=x)

朴素贝叶斯的参数估计

  • 极大似然估计
         P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,...,KP(Y=c_k)=\frac{\sum\limits_{i=1}^NI(y_i=c_k)}{N},k=1,2,...,KP(Y=ck​)=Ni=1∑N​I(yi​=ck​)​,k=1,2,...,K
         P(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)∑i=1NI(yi=ck),j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,KP(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum\limits_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum\limits_{i=1}^NI(y_i=c_k)},j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,KP(X(j)=ajl​∣Y=ck​)=i=1∑N​I(yi​=ck​)i=1∑N​I(xi(j)​=ajl​,yi​=ck​)​,j=1,2,...,n;l=1,2,..,Sj​;k=1,2,...,K,ajla_{jl}ajl​为第jjj个特征可能取值
  • 学习与分类算法
      按照极大似然估计统计出来后计算P(Y=ck)∗∏i=1NP(X(i)=x(i)∣Y=ck),k=1,2,...,KP(Y=c_k)*\prod_{i=1}^N P(X^{(i)}=x^{(i)}|Y=c_k),k=1,2,...,KP(Y=ck​)∗∏i=1N​P(X(i)=x(i)∣Y=ck​),k=1,2,...,K
      y=f(x)=argmaxy∈γP(y=ck∣X=x)y=f(x)=argmax_{y \in\gamma}P(y = c_k|X=x)y=f(x)=argmaxy∈γ​P(y=ck​∣X=x)
  • 贝叶斯估计
      因为直接统计会出现概率为0的现象,这很不合理,出现偏差。这时我们进行平滑处理,
         P(Y=ck)=∑i=1NI(yi=ck)+λN+K∗λ,k=1,2,...,KP(Y=c_k)=\frac{\sum\limits_{i=1}^NI(y_i=c_k)+\lambda}{N+K*\lambda},k=1,2,...,KP(Y=ck​)=N+K∗λi=1∑N​I(yi​=ck​)+λ​,k=1,2,...,K
         P(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)+λ∑i=1NI(yi=ck)+Sj∗λ,j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,KP(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum\limits_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda}{\sum\limits_{i=1}^NI(y_i=c_k)+S_j*\lambda},j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,KP(X(j)=ajl​∣Y=ck​)=i=1∑N​I(yi​=ck​)+Sj​∗λi=1∑N​I(xi(j)​=ajl​,yi​=ck​)+λ​,j=1,2,...,n;l=1,2,..,Sj​;k=1,2,...,K,ajla_{jl}ajl​
         KKK为种类数,SjS_jSj​为属性jjj的个数
课后实现
32、通用处理器通信平台发展与5G开源社区技术解析 本文探讨了基于通用处理器(GPP)的通信平台在5G技术中的发展现状与挑战,详细介绍了多个开源平台和硬件架构,并分析了软件加速方法和未来发展方向。文章指出,尽管GPP具有灵活性和开放性优势,但在实时信号处理和功耗等方面仍存在瓶颈,需要通过核心技术研发、标准化协作和应用拓展推动5G技术的实际应用。 阅读详情

相关推荐

ESP32-C3芯片通过蓝牙控制开锁功能

定义BLE服务和特征,用于接收开锁命令。0x00FF// 服务UUID0xFF01// 特征UUID4// 句柄数量// 特征值// 特征属性// 处理GATT服务器事件// 处理事件(详细代码见下文)// 注册GATT回调if (ret) {return;// 创建GATT服务器。

m0_46145044的博客 921

李航统计学习方法-朴素贝叶斯

朴素贝叶斯法 朴素贝叶斯(naïve Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法[1]。 对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然 后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯 法实现简单,学习与预测的效率都很高,是一种常用的方...

JohnBanana的专栏 2531

Navcat最新版的激活和安装教程(全网最靠谱,最快捷的方式)

现在最新版本navcat已经出到了16.3了,并且新版navcat也支持连接redis和图标等更多样化的功能,但是比较头疼的一件事就是,只能试用14天。那么接下来小编教大家如何用最简单的方式使用最新版navcat16.

weixin_50737119的博客 2万+

李航《统计学习方法》例4.1朴素贝叶斯法的参数估计 之 极大似然估计 ——实现代码

# 2021.01.15 By yangbocsu 例4.1试由表 4.1的训练数据学习一个朴素贝叶斯分类器并确定x = (2, S)T的类标记y。表中X(1), X(2)为特征,取值的集合分别为A1 = {1,2,3}, A2 ={S,M,L}, Y为类标记,Y∈C= {1,-1}。 # 2021.01.15 By yangbocsu import numpy as np import matplotlib.pyplot as plt import time train_data =...

少年一贯快马扬帆,道阻且长不转弯; 要盛大,要绚烂,要哗然; 要用理想的泰坦尼克,去撞现实的冰川; 要当烧赤壁的风,而非借鉴草船; 要为了一片海,就肯翻万山。 3121

保姆级教程:在瑞芯微RV1126B上部署轻量化YOLOv8,实现端侧实时目标检测

本文详细介绍了在瑞芯微RV1126B芯片上部署轻量化YOLOv8模型的完整流程,包括开发环境搭建、模型训练优化、量化转换及嵌入式部署。通过利用RV1126B的3TOPS NPU算力和AI-ISP特性,实现端侧实时目标检测,提升边缘AI应用的性能和效率。

weixin_30329623的博客 271

【Pytorch】DCGAN实战(三):二次元动漫头像生成

文章目录1.实现效果2.环境配置2.1Python2.2Pytorch、CUDA2.3Python IDE3.具体实现3.1数据预处理(data.py)(1)导入包(2)定义数据类3.2模型Generator,Discriminator,权重初始化(model.py)(1)导入包(2)Generator(3)Discriminator(4)权重初始化3.3网络训练(net.py)(1)导入包(2)创建类3.4 主函数(main.py)(1)导入文件(2)定义超参数(3)实例化(4)进行训练4.训练过程4.1

qq_44031210的博客 4918

朴素贝叶斯算法---统计学习方法例4.1计算(MATLAB)

个人学习记录,只进行了书上例题的结果验证,没有改写成函数。 %%%%%% 朴素贝叶斯算法 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% clc clear X = {1,'S';1,'M';1,'M';1,'S';1,'S';2,'S';2,'M';2,'M';2,'L';2,'L';3,'L';3,'M';3,'M';3,'L';3...

xq_520的博客 991

2023年全国职业院校技能大赛高职组“区块链技术应用”赛项赛卷(3卷)解析

我们先绘制题组中所有设计图我这边作图用的国内的在线作图工具。

2301_76737000的博客 5421

【统计学习方法读书笔记】(四)朴素贝叶斯法

终于到了贝叶斯估计这章了,贝叶斯估计在我心中一直是很重要的地位,不过发现书中只用了不到10页介绍这一章,深度内容后,发现贝叶斯估计的基础公式确实不多,但是由于正态分布在生活中的普遍性,贝叶斯估计才应用的非常多吧! 默认输入变量用XXX表示,输出变量用YYY表示 概率公式描述: P(X=x)P(X=x)P(X=x):表示当X=xX=xX=x时的概率 P(X=x∣Y=ck)P(X=x|Y=c_k)P...

BINGO's BLOG 539

修改Avaya IP-Office电话交换机出厂自带的提示语音内容

1,本文的应用场景是在使用Avaya IP-office 500 v2电话交换机时,来电振铃超时后,会转入语音信箱,呼叫者会听到一条语音信箱留言的欢迎辞(…请留言…)。但我们单位情况比较特殊,首先是的IPO配置很精简,内嵌的语音信箱只能保留3天,用处不大;其次是用户没有收听语音信箱的习惯;第三是我们单位使用数字中继和DID,每人一个直拨号码,不通过总机转接。很多业务是单线联系,所以一旦来电无法接通,来电者可能完全无法联系到我们单位的其他同事。出于这三点原因,我们希望将语音信箱的欢迎辞,增加告知我们的总机电话

qlin4cn的博客 4920

华为OD机试双机位C卷:补种未成活胡杨 (C/C++/Py/Java/Js/Go)

华为OD机试双机位C卷 补种未成活胡杨,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试 - 补种未成活胡杨。

qq_45776114的博客 4008

统计学习方法:朴素贝叶斯方法

基于贝叶斯定理和特征条件独立假设的分类方法,朴素贝叶斯的基本假设是条件独立性 4.1 朴素贝叶斯法的学习和分类 4.1.1 基本方法 设输入空间是一个n维向量的集合,输出空间是类标记集合,输入为特征向量x,输出为类标记y,X是定义在输入空间的随机向量,Y是定义在输出空间的随机变量。P(X,Y)是X和Y的联合概率分布。 朴素贝叶斯法通过训练数据集学习联合概率分布。

xxiaozr的博客 1211

流体动力学仿真软件:Star-CCM+_(19).软件定制与脚本编写

自定义插件开发可以扩展Star-CCM+的功能,实现特定的仿真需求。插件开发通常需要使用Java语言,并且需要对Star-CCM+的API有深入的了解。以下是一个简单的Java插件示例,展示如何创建一个自定义插件来显示仿真项目的信息。// 导入必要的Star-CCM+ API import star . ccm . product . CCMProject;// 自定义插件类 public class CustomPlugin {// 插件主方法 public void run() {

kkchenjj的博客 940

统计学习方法第四章极大似然估计的朴素贝叶斯分类方法例题4.1代码实践

统计学习方法第四章极大似然估计的朴素贝叶斯分类方法例题4.1代码实践(需要查看贝叶斯估计的可以查看我的另一篇文章http://blog.csdn.net/grinandbearit/article/details/79045143) 代码如下: #-*- coding:utf-8 -*- from numpy import * #将书上的数据输入,这里懒得输入那么多个列表就用下array

GrinAndBearIt的博客 1835

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

统计学习方法第四章——朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。是通过给定training dataset学习联合概率分布的方法,是一种生成方法。

qq_43369406的博客 645

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

概率还不会的快看过来《统计学习方法》——第四章、朴素贝叶斯法

作者简介:整个建筑最重要的是地基,地基不稳,地动山摇。而学技术更要扎稳基础,关注我,带你稳扎每一板块邻域的基础。 博客主页:啊四战斗霸的博客 专栏:《统计学习方法》第二版——个人笔记 创作不易,走过路过别忘了三连击了哟!!! 关注作者,不仅幸运爆棚,未来更可期!!! ***有代码,就有注释!!! Triple attack(三连击):Comment,Like and Collect—>Attention 朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定训练数据集,首先基于特征条件.

weixin_64215932的博客 1858

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

《统计学习方法》第四章朴素贝叶斯总结与习题

朴素贝叶斯定义:朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。

qq_42714262的博客 831

《统计学习方法》 | 第四章 朴素贝叶斯总结及高斯朴素贝叶斯实现

本文部分总结内容摘自李航老师的《统计学习方法》及其配套课件 原文代码作者:https://github.com/wzyonggege/statistical-learning-method 在开始朴素贝叶斯的学习之前,先弄清楚几个概念:先验概率: 事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(x),P(y)。后验概率:...

Shannon 3175

李航 统计学习方法 第四章 朴素贝叶斯

李航 统计学习方法 第四章 朴素贝叶斯 基于贝叶斯定理和特征条件独立假设的分类方法.对于给定的训练数据集, 首先基于特征条件独立假设学习输入/输出的联合分布; 然后基于此模型, 对给定的输入x, 利用贝叶斯定理求出后验概率最大的输出y. 介绍朴素贝叶斯法, 包括朴素贝叶斯的学习和分类, 朴素贝叶斯法的参数估计算法. 基本方法 输入空间是n维向量的集合, 输出空间为类标记集合Y=c1,c2,...,cK\mathcal{Y}={c_1, c_2,..., c_K}Y=c1​,c2​,...,cK​, 输入为特

manong_dashen的博客 451

【统计学习方法】第四章 朴素贝叶斯

模型定位:朴素贝叶斯属于分类模型、生成模型 GitHub: 基本概念 条件概率:P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)​ 乘法公式:P(AB)=P(A∣B)∗P(B)P(AB)=P(A|B)*P(B)P(AB)=P(A∣B)∗P(B) 贝叶斯公式:P(Y∣X)=P(X∣Y)∗P(Y)P(X)P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)}P(Y∣X)=P(X)P(X∣Y)∗P(Y)​ 后验概率【指定了条件的条件概.

Superpig的博客 1367

《统计学习方法》第四章朴素贝叶斯学习笔记

朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y),然后求得后验概率分布P(Y|X)P(Y|X)。具体是利用训练数据学习P(X|Y)P(X|Y)和P(Y)P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X|Y)。 朴素贝叶斯法的基本假设是条件独立性: P(X=x|Y=ck)==P(X(1)=x(1),⋯,X(

wjlucc的专栏 1072

《统计学习方法》:第四章:朴素贝叶斯

该章结构一、朴素贝叶斯的学习和分类二、朴素贝叶斯的参数估计算法1、极大似然估计:2、贝叶斯估计: 一、朴素贝叶斯的学习和分类 假设训练集:T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1 ),(x_2,y_2 ),…,(x_N,y_N )\}T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)};由联合概率分布P(X,Y)P(X,Y)P(X,Y)...

ACM_hades的博客 758

李航《统计学习方法》学习笔记之——第四章:朴素贝叶斯法

“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础,系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。 由于能力有限,不足支持请大家多多指正,大家有什么想法也非常欢迎留言评论! 关于我的更多学习笔记,欢迎您关注“武汉AI算法研习”公众号! 本文分三个部分“【针对朴素贝叶斯法的理解】”、“【朴素贝叶斯算法原理】”、“【文本分类上应用】”来进行...

码农的科研笔记 657

《统计学习方法》第四章——朴素贝叶斯及python实现

一、概述 本文是《统计学习方法》的第四章,包含朴素贝叶斯分类器的原理与python实现。希望自己能坚持下去,完成整本书的学习 二、朴素贝叶斯算法 由于我们需要学习的参数为P(x,y)P(x,y)P(x,y),而P(X=x,Y=y)=P(X=x∣Y=y)P(Y=y)P(X=x,Y=y)=P(X=x|Y=y)P(Y=y)P(X=x,Y=y)=P(X=x∣Y=y)P(Y=y),其中P(X=x∣Y=y)P(X=x|Y=y)P(X=x∣Y=y)的参数是指数级的。当维度较大时,会发送维度灾难。 具体地说,X和Y的组合很

weixin_47675950的博客 481

统计学习方法 第四章 朴素贝叶斯法

第四章 朴素贝叶斯法 生成模型 是基于贝叶斯定理与特征条件独立假设的分类方法 训练方法: 首先基于特征条件独立假设学习输入/输出的联合概率分布; 然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。 4.1 朴素贝叶斯法的学习与分类 条件独立性假设:用于分类的特征在类确定的条件下都是条件独立的 后验概率最小化等价于期望风险最大化 4.2 朴素贝叶斯法的参数估计 ...

weixin_41045344的博客 225

统计学习方法第四章笔记——朴素贝叶斯

4.1 模型介绍  模型的输入空间为χ∈Rnχ∈R^n的nn维向量,输出空间为类标记集合y={c1,c2,…ck}y=\{c_1,c_2,…c_k\},XX是定义在χχ上的随机变量,YY是定义在yy上的随机变量,P(X,Y)P(X,Y)是XX和YY的联合分布,训练数据集T={(x1,y1),(x2,y2),…(xn,yn)}T=\{(x_1,y_1 ),(x_2,y_2 ),…(x_n,y_n)\}

1444
上一篇: 《统计学习方法》(第三章)—— K邻近
下一篇: 《统计学习方法》(第五章)—— 决策树
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值