《统计学习方法》学习总结(未完待续)

李航老师统计学习方法答案汇总 由于博主本人还没把这本书的算法学完,所以答案还在持续更新中… 第一章 第二章 第三章 第四章 第五章 第六章 第七章 第八章 第九章 第十章 第十一章 第十四章 第二十一章 阅读详情
  • 统计学习方法的三要素:模型(model)、策略(strategy)、算法(algorithm).
  • 生成模型和判别模型分类
    • 生成模型:可以还原出联合概率分布P(X,Y),学习收敛速度更快,存在隐变量时还是可以使用。
      • 朴素贝叶斯分类法
      • 隐马尔可夫模型
    • 判别模型:直接学习条件概率P(X|Y)或决策函数f(X),学习准确率更高,可以简化学习问题(对数据进行各种程度上的抽象、定义特征并使用特征)
      • k近邻法
      • 感知机
      • 决策树
      • 逻辑斯低回归模型
      • 最大熵模型
      • 支持向量机(SVM)
      • 提升方法
      • 条件随机场
《统计学习方法》——第一章:统计学习方法概论 1.1统计学习(统计机器学习) 定义:关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 特点: 统计学习以计算机及网络为平台,是建立在计算机及网络之上的; 统计学习以数据为研究对象,是数据驱动的学科; 统计学习的目的是对数据进行预测与分析; 统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析; 统计学习是概率论、统计学、信息论、计算理论、最... 阅读详情

相关推荐

统计学习方法

主要内容: 1、统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门科学。统计学习包括监督学习、非监督学习和强化学习。 2、统计学习方法三要素---模型、策略、算法,对理解统计学习方法起到提纲挈领的作用。 3、监督学习可以概括如下:从给定有限的训练集数据出发,假设数据时独立同分布的,而且假设模型属于某个假设空间,应用某一个评价准则,从假设空间中选取一个最优的模型,

半个馒头 2440

统计学习方法-李航-期末复习流程图

《统计学习方法》流程图-期末复习(上) X-mind绘制,转载注明出处 第一章-概论 第二章-感知机 第六章-逻辑回归

programmer_jiang的博客 1234

《统计学习方法第二版》学习笔记1——概论

第1章 统计学习及监督学习概率论 目录第1章 统计学习及监督学习概率论前言1 理论部分1.1 统计学习1.2 统计学习的分类1.3 统计学习方法三要素1.4 模型评估与模型选择1.5 正则化与交叉验证1.6 泛化能力1.7 生成模型与判别模型1.8 监督学习应用 前言 本文主要参考资料: 《统计学习方法》第二版 李航 《统计学习方法》第二版PPT 袁春 这次学习笔记主要记录《统计学习方法》的一些重要知识点及其拓展、相关代码实现和一些思考,起因是我们可爱美丽的V同学发动的组队学习打卡活动。本人并非计

sd3145265的博客 1214

【统计学习方法-李航-笔记总结】一、统计学习方法概述

看李航老师的书有感,做做笔记以便后续查阅,也方便同道中的大佬们参考~ 本部分包括: 1. 统计学习概述 2.  统计学习三要素 3.  模型的评估与选择 4.  分类问题、标注问题与回归问题   1. 统计学习概述 (1)概念:统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测分析的学科。 (2)特点:         a. 建立在计算机与网络上的;    ...

zl3090的博客 3572

统计学习方法详解之第一章统计方法及监督学习概论

文章目录1. 前言1.1 常见误区1.2 解决方法2. 统计学习的基本概念2.1 统计学习的定义2.2 统计学习的重要特点2.3 统计学习的对象2.4 统计学习的目的3. 统计学习的分类4. 统计学习方法三要素5. 模型评估与模型选择6. 泛化能力7. 生成模型与判别模型 1. 前言   本课程主要是对李航老师的《统计学习方法》第二版进行深入的讲解。工欲善其事,必先利其器。所以为了帮助初学者提高学习效率,先简单讲解一下学习的误区和要点。 1.1 常见误区   误区一:在学习过程中总想达到面面俱到,也就是必须

herosunly的博客 2554

告别浏览器崩溃!EasyPlayer.js长时间播放FLV视频内存泄漏排查指南

本文针对EasyPlayer.js长时间播放FLV视频导致浏览器内存泄漏和崩溃的问题,提供了一套系统性排查与解决方案。核心策略包括将视频编码从H.265转为H.264以降低解码压力,以及将传输协议从HTTP-FLV切换至WebRTC以优化资源管理。文章还详细介绍了播放器实例生命周期管理、浏览器开发者工具监控等精细化排查手段,帮助开发者实现稳定、长时间的多路视频播放。

weixin_29229055的博客 176

《统计学习方法》(李航)的学习体会(一)

一转眼,从开始接触机器学习,到现在被琐事左右,不得不放下李航老师的《统计学习方法》,快五个月了。这五个月里,开头的一个月是我最快活的时候,全身心地享受统计学习方法带来的种种思维的乐趣,妙不可言。 截止在发稿前,我大概看了1/4,考虑到这本书总-分的结构,接下来的读书任务是学习更多的模型方法,比对加深对统计学习方法的认识。我要声明的是,年内就会把这本书看完,到时会参照其他的学习资料,系统性

singmk的博客 2万+

Flink CDC 实战:5分钟搞定PostgreSQL数据实时同步(附避坑指南)

本文详细介绍了如何使用Flink CDC实现PostgreSQL数据的实时同步,包括环境配置、逻辑复制槽创建、Flink环境搭建及实战验证。通过5分钟快速指南,帮助开发者高效搭建实时数据管道,并提供了常见问题排查和生产环境优化建议。

red88的博客 820

统计学习方法读书笔记(二十七)-附录E KL散度的定义和迪利克雷分布的性质

全部笔记的汇总贴:统计学习方法读书笔记汇总贴 PDF免费下载:《统计学习方法(第二版)》 一、KL散度的定义 二、迪利克雷分布的性质

scu-liu的博客 588

YOLOv8改进策略【独家融合改进】| StarNet + 小目标检测头,加强跨尺度的上下文特征融合,提高小目标检测能力

P3/8 - small检测头原始模型中的P3/8特征层对应的检测头主要用于检测相对较小的目标。其特征图大小相对较大,空间分辨率较高。适合检测尺寸大概在8x8到32x32像素左右的目标。P4/16 - medium检测头这个检测头对应的P4/16特征层经过了更多的下采样操作,相比P3/8特征图空间分辨率降低,但通道数增加,特征更抽象且有语义信息。它主要用于检测中等大小的目标,尺寸范围大概在32x32到64x64像素左右。P5/32 - large检测头P5/32。

Limiiiing的博客 636

MuJoCo 入门教程(八)Model仓库

一个物理仿真器的好坏取决于它所仿真的模型,而在像 MuJoCo 这样功能强大、建模选项众多的仿真器中,很容易创建出行为与预期不符的 "坏 "模型。MuJoCo Menagerie 的目标是为社区提供一个设计精良、开箱即用的模型集。更多信息,请访问 Menagerie 资源库。

机器人控制与仿真应用 1940

统计学习方法概论(未完待续)

1.1统计学习统计学习:关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。包括监督学习、非监督学习、半监督学习及强化学习。主要特点: 以计算机及网络为平台 以数据为研究对象 目的是对数据进行预测和分析 以方法为中心 多学科交叉 1.2监督学习 任务 学习一个模型,使得模型对任意给定的输入,对其相应的输出做出一个好的预测。 基本概念 1、输入空间、输出空间与输出空间输入空

VictorLee 495

[QMT量化交易小白入门]-七、可转债双低策略Python代码详解与实战

本专栏主要是介绍QMT的基础用法,常见函数,写策略的方法,也会分享一些量化交易的思路,大概会写100篇左右。QMT的相关资料较少,在使用过程中不断的摸索,遇到了一些问题,记录下来和大家一起沟通,共同进步,自己淋过雨了,希望大家都有一把伞。

木头大左的博客 3913

【统计学习方法】1、统计学习方法概论

第一章 统计学习方法概论 1.1 统计学习 1.2 监督学习 1.2.1 基本概念 1.3 统计学习三要素 1.3.1 模型 1.3.2 策略 1.4 模型评估与模型选择 1.4.1 训练误差和预测误差 1.4.2 过拟合与模型选择 1.5 正则化与交叉验证 1.5.1 正则化 1.5.2 交叉验证 1.6 泛化能力 1.6.1 泛化误差 1.6.2 泛化误差上界 1.7...

呆呆的猫的博客 1935

安卓手机强制清理数据恢复出厂设置后无法设置密码怎么办?(分享亲身经历的有效解决方案)

📱安卓手机强制清数据恢复出厂设置后,竟无法设置锁屏密码!本文将解析问题根源,分享亲测有效的解决方案,帮你快速摆脱困扰🎉

XiaoqiangClub的博客 247

点云最小二乘法拟合曲线

文章目录一、引言 一、引言

dayuhaitang1的博客 2736

统计学习方法概述

统计学习方法概论学习统计学习统计学习的特点统计学习的目的统计学习的方法监督学习基本概念输入空间、特征空间与输出空间联合概率分布假设空间统计学习三要素模型策略损失函数和风险函数损失函数风险函数经验风险最小化和结构风险最小化算法过拟合与模型选择正则化交叉验证简单交叉验证K折交叉验证留一交叉验证泛化能力泛化误差上界生成方法和判别方法生成方法判别方法分类问题功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Sma

Just_do_myself的博客 3861

详解FreeRTOS:FreeRTOSConfig.h系统配置文件(拓展篇—1)

FreeRTOS的系统配置文件为FreeRTOSConfig.h,在配置文件中可以完成FreeRTOS的裁剪和配置,这是非常重要的一个文件,本篇博文就来讲解这个文件。

不脱发的程序猿 1551

统计学习方法 学习记录6

在许多实际应用中数据是不充足的.为了选择好的模型,可以采用交叉验证方法.交叉验证的基本想法是重复地使用数据;第 1 项的经验风险较小的模型可能较复杂(有多个非零参数),这时第 2 项的模型复杂度会较大.正则化的作用是选择经验风险与模型复杂度同时较小的模型。统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法,统称为统计学习方法的三要素,简称模型、策略、算法。

2301_77666509的博客 1583

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

《统计学习方法》第一章 机器学习和统计学习

机器学习和统计学习 目录 机器学习和统计学习 一、机器学习定义 二、机器学习和数据挖掘的关系 三、机器学习和统计学习 四、统计学习 1、监督学习 2、无监督学习 3、强化学习 4、半监督学习 5、主动学习 五、统计学习方法 1、按算法分类 2、按技巧分类 3、统计学习三要素 4、模型评估与模型选择 5、正...

北冥有渔的博客 1487

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

统计学习方法与实战——统计学习方法概论

统计学习方法概论 文章目录统计学习方法概论前言章节目录导读实现统计学习方法的步骤统计学习方法三要素模型模型是什么?策略损失函数与风险函数常用损失函数ERM与SRM算法模型评估与模型选择过拟合与模型选择正则化与交叉验证泛化能力生成模型与判别模型生成方法判别方法分类问题、标注问题、回归问题参考 前言 章节目录 统计学习 监督学习 基本概念 问题的形式化 统计学习三要素 模型 策略 算法 模型评估与模型选择 训练误差与测试误差 过拟合与模型选择 正则化与交叉验证 正则化 交叉验证 泛化能

swpucwf的博客 2572

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

统计学习方法-统计学习方法概论

这一系列的博客是对李航老师的《统计学习方法》的总结,算是个人的学习笔记吧,因为刚刚接触机器学习,对一些知识的理解可能会不到位,若有不严谨的地方,欢迎大家纠正,一起交流。 文章目录什么是统计学习监督学习基本概念统计学习的三要素模型策略算法模型评估与模型选择训练误差与测试误差过拟合与模型选择正则化与交叉验证正则化交叉验证泛化能力泛化误差泛化误差上界生成模型与判别模型分类问题标注问题回归问题 什么是...

rotation博客 1360

统计学习方法-理论知识学习笔记

目录 前言: 1 统计学习的方法概论 1.1 统计学习 1.1.1 统计学习特点 1.1.2 统计学习的对象 1.1.3 统计学习的目的 1.1.4 统计学习的方法 1.1.5 统计学习的研究 1.1.6 统计学习的重要性 1.2 监督学习 1.2.1 基本概念 1.3 统计学习三要素 1.3.1 模型 1.3.2 策略 1.3.3 算法 1.4 模型评估与模型选择 1.4.1 训练误差与测试误差 1.5 正则化与交叉验证 1.5.1 正则化 1.5.2 交叉验.

忆_恒心的博客 1839

统计学习方法 学习笔记(1)统计学习方法及监督学习理论

从标注数据中学习预测模型的机器学习问题。监督学习的本质:学习输入到输出的映射统计规律。

hanmo22357的博客 1916
上一篇: Linux-硬件检查常用代码
下一篇: Scikit-learn(python)学习笔记 (不定期更新)
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值