台大机器学习基石 Lecture 6 - Theory of Generalization

线性回归与逻辑回归:深入解析机器学习的基石模型 线性回归和逻辑回归是机器学习领域中最基础和重要的两种模型,常常作为入门学习的重点。下面我将对这两种模型的主要内容进行更详细的介绍。 阅读详情

这节课基于上节课m_H(N)与break point的关联,研究了m_H(N)的上界B(N, k)是否为多项式的问题,得到结论为多项式上界,并将其代入Hoeffding不等式,得到VC Bound,证明只要break point存在,机器学习就是可行的。

Restriction of Break Point

我们先看一下四个成长函数与break point的关系:

成长函数m_H(N)是一个hypothesis在N个数据点上可以产生的dichotomy数量的最大值。k为最小的break point,那么k + 1, k + 2...都是break point。

那么我们看一下当最小的break point限定为k = 2时能产生多少dichotomies?(也就是任意两个点都不能shatter,shatter的意思是对N个点,能够分解为2^N种dichotomies)

  • N = 1,从定义上显然m_H(N) = 2;
  • N = 2,从定义上也有m_H(N) \leq 3;
  • N = 3,我们可以从1开始尝试dicotomy的个数:1(ooo)、2(ooo、oox)、3(ooo、oox、oxo)、4(ooo、oox、oxo、xoo),若增加到5时必定会有两个点shatter,所以最大的m_H(N) = 4。

我们发现存在break point时会对m_H(N)最大值的大小产生限制,所以我们要尝试通过N与k来证明m_H(N)是多项式级的,才能代入Hoeffding不等式,证明机器学习的可行性。

Bounding Function: Basic Cases

引入一个定义:上界函数(Bounding Function)B(N, k),表示了当break point = k时m_H(N)可能的最大值。

从而我们只要对上界函数进行描述,就可以不考虑Hyphesis set的情况,不用因为问题的变化而有改变,这样就能简化我们的研究复杂程度。

我们可以通过下面这张表来尝试得到B(N, k)的分布情况——

其中,根据之前的计算就能知道B(2,2) = 3 和 B(3,2) = 4;当k = 1时,任意的N取值都只会有一种“划线”方式,m_H(N) = 1 \Rightarrow B(N, 1) = 1(画画图就能看出来);当N< k时,则所有的dichotomy都能满足条件,此时B(N,k) = 2^N;当N == k时,k = N是第一个不能shatter的值,所以去掉一个dichotomy就可以了,此时B(N,k) = 2^N-1。

其它更加常见的N> k的求值比较复杂一些,相关的证明也留到下一小节。

Bounding Function: Inductive Cases

先以B(4,3)为例,寻找是否有递推关系。先把B(4,3)可行的11条Dichotomies写下来并分组,如下——

我们发现右图前8条是两两配对的,后3条是独立的,于是就有B(4,3)=11=2\alpha +\beta(Orange=\alpha ,Purple= \beta)。

  • 根据定义,B(4,3) = 2\alpha +\beta中是不存在3个点shatter的,那么\alpha +\beta中也是不存在3个点shatter的,于是\alpha +\beta\leq B(3,3);
  • 由于在2\alpha中是成对出现,且两两不同,于是必然有x_4中是\circ \times成对交错的,就可以将x_4划去,原先2\alpha任三个点不会shatter,在\alpha中就有任意两个点不会shatter的结论,于是有\alpha\leq B(3,2)。

根据以上两点结论,我们可以将不等式左右相加,得到——

根据数学归纳法,就能够得到递推式结论:B(N, k)\leq B( N-1,k) + B(N-1,k-1),得到通项式结论为B(N,k)\leq \sum_{i=0}^{k-1}\begin{pmatrix} N\\i \end{pmatrix}。

最大项也就是N^{k-1},证明了如果存在break point,m_H(N)的上界就为多项式级的。

上式中 “\leq” 可以通过数学严格证明为 “=” ,课程中不做要求。

A Pictorial Proof

现在我们知道了,m_H(N)有多项式级上界,如果能替代M代入Hoeffding不等式,就能得到E_{out}\approx E_{in}的结论。然而并不是直接代入就可以的,需要做一点变化,这样的原因是E_{in}是有限的,而E_{out}是无限的,实际的式子如下——

è¿éåå¾çæè¿°

这个式子的证明比较复杂,数学推导不在课程中要求,主要分成以下三步——

我们要将无限的E_{out}用有限的{E_{in}}'替换,也就是另外找一个大小为N的verification set来计算{E_{in}}'。这里要将\varepsilon变为\frac{\varepsilon }{2},满足数学上条件更严格的需要。

现在的Hypothesis set变为了\left | H(x_1,x_2,...,x_N,{x_1}',{x_2}',...,{x_N}') \right |,与之前同理,总共最多有m_H(2N)种hypothesis,然后再用union bound就能精确计算有多少BAD是重叠发生的。

 到现在我们有了一个固定的hypothesis set,可以想象有2N个点的罐子,从中抽取N个点作为E_{in},剩余N个点作为{E_{in}}',也就是用更小的罐子中采用更小的\varepsilon做无放回抽样。这样就可以直接将式子代入Hoeffding's equality,得到结果。

现在我们就得到了著名的VC Bound。

2D Perception的情况下,就有break point = 4,m_H(N)是O(N^3)多项式上界的,从而证明2D Perception的学习是可行的。

 这个题目说明了,VC Bound并不是一个很小的很准确的上界,那么为什么它这么有用?

下节课继续讲解。

 

用Excel从零实现神经网络反向传播:无需编程的深度学习原理实践 神经网络的核心在于反向传播与梯度下降,这是一种基于链式法则的数学优化机制,其本质是通过误差信号逐层分配、计算权重更新方向与步长。掌握该原理对理解模型可解释性、调试训练异常(如梯度消失、权重爆炸)及构建可信AI系统具有关键工程价值。在数据科学教学、金融建模验证和业务场景快速原型设计中,Excel凭借公式可见、计算可溯、修改即时等特性,成为不可替代的‘梯度模拟器’。本文以2层前馈网络为例,全程使用SUMPRODUCT、OFFSET等原生函数,手把手推导sigmoid激活、Xavier初始化、逐细胞误差反传与手动 阅读详情

相关推荐

机器学习基石

这是台湾大学林轩石老师讲授机器学习基石的课件,林老师讲的非常细很容易理解。

机器学习基石1(ML基本概念和VC dimension)

ML基本概念和vc dimension

weixin_39861267的博客 1451

台湾大学机器学习基石手写笔记

大家好,我是Mac Jiang,今天和搭建分享的是台湾大学机器学习基石(Machine Learning Foundations)的个人笔记。个人觉得这门课是一门非常好的机器学习入门课程,值得初学者学习!这份笔记是本人一笔一划手写,扫描后上传了,也算是一个月的心血,希望我的工作能够给大家带来一些学习上的帮助。

【机器学习基石】概述(一)

目录写在前面1.什么是机器学习2.ML在日常生活中的应用3.ML的简单组成4.ML与其他领域的联系 写在前面 本节内容主要是介绍什么是机器学习,以及机器学习在我们日常生活中的常见应用场景,它与我们的生活并不是分离开来互不影响的。最后引申了它与其他领域的一些关系,整体来说,本节内容较为简单。 本文整理自台湾大学林轩田的《机器学习基石》 1.什么是机器学习 ∙\bullet∙ 机器学习(Machine Learning,简称ML)就是提供给计算机大量的数据,让它分析这些数据得到一些联系并且学会自己处理数据(

taoxing 490

FMEA-MSR步骤三:功能分析

目的 FMEA-MSR功能分析的主要目标: ● 功能及各功能之间的关系的可视化 ● 功能树/网络或等效功能矩阵参数图(P图) ● 顾客(外部和内部)功能与相关要求的关联 ● 要求或特性与功能的关联 ● 工程团队(系统、安全和组件)之间的协作 ● 失效分析步骤的基础 (点击链接进入官网领取软件试用) 在监视及系统响应的补充FMEA中,对失效探测和失效响应的监视视为其具有的功能。硬件和软件功能可能包括监视控制状态的功能。 故障/失效的监视和探测功能可能包括超出范围的探测、循环冗余校验、真实性检查和序列计数器检查

Infomass的博客 2393

MSPM0G3507+逐飞库:5分钟搞定KEIL环境配置与LED闪烁(附常见错误解决)

本文详细介绍了如何使用MSPM0G3507微控制器和逐飞库快速配置KEIL开发环境,并实现LED闪烁功能。从芯片支持包安装、逐飞库工程配置到烧录调试,提供了完整的步骤和常见错误解决方案,帮助开发者5分钟内完成环境搭建。

lambda的博客 1203

林轩田《机器学习基石》(六)—— Theory of generalization

之前我们假设了M为有限个的时候,机器学习可以进行。上一节课我们讨论了M是无限个的时候,我们定义了一个成长函数,即dichotomy的最大个数。可以看到,当是多项式,那么不等式会表现好,如果是指数则表现不一定会好。又提到,如果存在一个breakpoint时,可能会越来越远离2^N,而这就是我们所希望的。 一、回顾 我们首先回顾一下上一次讲的内容,即四种成长函数与break point的关系: 相当于对一维数轴的N个点进行分类, 如图,只有阈值的正方向被分类为正。 所以,它没法分‘x o’这.

weixin_43463276的博客 420

OpenCV+ArUco实战:如何用Python实现高精度二维码测距(附完整代码)

本文详细介绍了如何使用Python和OpenCV实现基于ArUco标签的高精度单目视觉测距。通过相机标定、标签检测和三维位置估算,结合完整代码示例,帮助开发者在机器人导航、工业自动化等场景中实现厘米级距离测量,并探讨了精度优化与三维可视化等进阶应用。

weixin_29052717的博客 478

1.机器学习基石 | 机器学习简介

什么是机器学习 1.初步认识 机器学习:通过对于data的学习使得某些performance得到增强 2.哪些问题可以使用机器学习 3.具体定义 3.1 问题组成 3.2 学习形式 其中(重点), 3.3 定义 总结 ...

向着星辰大海 364

2025年全国青少年信息素养大赛初赛真题(算法创意实践挑战赛C++初中组:文末附答案)

2025年全国青少年信息素养大赛初赛真题(算法创意实践挑战赛C++初中组:文末附答案)

王老师青少年编程 3400

YOLO26改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 StarNet,超级精简高效的轻量化模块

本文记录的是。YOLO26主要用于轻量化应用部署,相关轻量化改进与其整体架构非常适配。StarNet设计简洁,没有复杂的设计和精细调整的超参数,仅是一个 4 阶段的分层架构。并且其中能够在低维空间计算的同时考虑极高维的特征这一特性,进而提高模型精度。本文在替换骨干网络中配置了原论文中的starnet_s1starnet_s2starnet_s3和starnet_s4七种模型,以满足不同的需求。

Limiiiing的博客 1094

机器学习基石 Lecture6: Theory of Generalization

机器学习基石 Lecture6: Theory of GeneralizationRestriction of Break PointBounding Function: Basic CasesBounding Function: Inductive CasesA Pictorial Proof Restriction of Break Point 上一个lecture里讲到关于对于给定数量NNN...

无所知的博客 448

不会路由器叠加多条宽带?看这个就够了,能让你的局域网速度更快!

通常我们在企业网络或实际项目中,随着用户的增加,一条或者几条带宽不能满足正常使用,便可以对带宽进行叠加,便于网络带度更快;通常家里有可能有两条带宽的,联通或移动的,可能都是充话费送的,但网速都不怎么样,不用可惜,用之委屈,那怎么办呢?如在迅雷上开启下载,多个资源同时下载,此时总带宽可以达到120M,也就是WAN口带宽可以叠加。多wan口路由器, 一般是有2个wan口,分别为wan1与wan2。当然也有更多的wan口的。[1] 对整个局域网来说,出口带宽数量多了,相当于总带宽上升,这样是可以起到叠加效果。

qq_43416206的博客 1115

林轩田机器学习基石Lecture 6: Theory of Generalization

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...

qq_42580910的博客 274

无迹卡尔曼滤波 (UKF, Unscented Kalman Filter) 算法详解及案例分析

无迹卡尔曼滤波是一种用于估计非线性系统状态的递归算法。其目标是通过结合系统模型和观测数据,估计系统的最优状态。

闲人编程的博客 2632

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

台大机器学习基石 Lecture 13 - Hazard of Overfitting

本次Lecture主要介绍机器学习中很重要的问题:过拟合(overfitting),并且介绍了部分解决过拟合问题的方法。 What is Overfitting? 先通过一个例子来介绍bad generalization。 假设平面上有5个点,目标函数是2阶多项式: 如果hypothesis是二阶多项式加上一些小的noise的话,那么这5个点很靠近这个hypothesis,很小。 ...

ZayneHuang的博客 1128

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Lecture 6 :Theory of generalization

Lecture 6 :Theory of generalization 【参考】https://redstonewill.com/217/ 截图来自于参考链接与课程课件 【概括】 6.1 Restrictions of break point 增长函数:二分类的最多可能组合数 回顾一些例子: 【回顾】shatter的意思是对N个点,能够分解为2的N次方种dichotomies quiz:break point为1,则m最大为1,因为第二种总会和第一种有不一样的地方 6.2 Bounding Func

weixin_43860935的博客 154

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

台大机器学习基石 Lecture 14 - Regularization

本次Lecture主要讲解了解决overfitting问题的方法——Regularization正则化 Regularized Hypothesis Set 我们在上节课知道,当用一个高次的多项式对target function进行拟合的时候,就会出现小而大的情况,这就是过拟合(overfitting)。而当用较低次的多项式进行拟合的时候,就能够得到左边这样比较良好的效果。 于是,这...

ZayneHuang的博客 317

机器学习与模式识别 考点压缩 100%命中率

机器学习与模式识别 期末考点压缩 两天学完 力挽狂澜!

2301_80226956的博客 885

【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 2_Linear regression with one variable 单变量线性回归...

Lecture2 Linear regression with one variable 单变量线性回归 2.1 模型表示 Model Representation 2.1.1 线性回归 Linear regression 2.1.2 单变量线性回归 Linear regression with one variable 2.2 代价函数 Cost Function 2.2...

weixin_38166557的博客 187

数学分析和高等代数自学教材推荐

……

u013669912的博客 1164

High-Resolution Image Synthesis with Latent Diffusion Models 基于潜在扩散模型的高分辨率图像合成

Robin Rombach 1 * Andreas Blattmann1 * Dominik Lorenz 1 Patrick Esser ® Björn Ommer 1 1 Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany ° Runway ML慕尼黑路德维希-马克西米利安大学 & 德国海德堡大学 IWR ° Runway MLhttps://github.com/CompVis/latent-diff

u013250861的博客 140

机器学习基石:深入浅出K-近邻算法(KNN)全解析

K-近邻算法以其质朴的哲学和直观的机制,在机器学习殿堂中占据着独特的一席之地。它告诉我们,有时最有效的决策并不需要复杂的模型,而只需真诚地“看看周围”。从入门教学的基础模型,到工业级向量检索系统的核心引擎,KNN的生命力在于其思想的普适性。核心要义:KNN是一种基于实例、惰性学习的算法,通过计算距离寻找最近邻,并以投票或平均方式做决策。其优势在于直观、无需训练、可解释性强;劣势在于预测慢、对高维和噪声数据敏感。它的未来不在于替代深度学习,而是与强大的特征表示学习结合,并作为向量检索时代。

1567

机器学习基石-林轩田-第一周笔记

Lecture 01 - The Learning Problem When Can Machine Learn ? Why Can Machine Learn ? How Can Machine Learn ? How Can Machine Learn Better ? What is Machine Learning 什么是“学习”?学习就是人类通过观察、积累经验,掌握某项技能...

Yang-wy 507
上一篇: 台大机器学习基石 Lecture 5 - Training versus Testing
下一篇: 台大机器学习基石 Lecture 7 - The VC Dimension
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值