台大机器学习基石 Lecture 7 - The VC Dimension

线性回归与逻辑回归:深入解析机器学习的基石模型 线性回归和逻辑回归是机器学习领域中最基础和重要的两种模型,常常作为入门学习的重点。下面我将对这两种模型的主要内容进行更详细的介绍。 阅读详情

本次Lecture主要介绍VC Dimension,从non-break point的角度来看之前break point对VC Bound的影响。最终得出结论要选择合适的d_{VC}来同时保证较小的E_{out}和较低的模型复杂度。

Recap

通过上节课的证明,我们知道了B(N,k)\leq N^{k-1}有多项式上界,这是在N\geq 2,k\geq 3的条件下的。我们又得到了VC Bound,这是在M无限的前提下的Hoeffding不等式,那么我们将B(N,k)\leq N^{k-1}代入VC Bound,这样就只和N与k相关了。

 于是现在有几个条件——

  • m_H(N)有break point为k(好的H)
  • N足够大\Rightarrow概率上可以有E_{out}\approx E_{in}(好的D)
  • 算法能找出足够小的E_{in}\approx 0(好的A)

\Rightarrow能推断机器可以学习!

Definition of VC Dimension

引入定义VC Dimension为最大的non-break point点,也就是能shatter的input点数。根据之前对break point的定义(不能被shatter的最小点数),VC dimension的值d_{VC} = 'minimum \ k' - 1。

此时就能用d_{VC}来替代k,得到以下结果——

 从而就看到之前四个模型的VC Dimensions:

在这时,VC Bound的问题只和假设集H的d_{VC}和数据集D的N有关,与学习算法A、输入分布P、目标函数A都没有关系了。

VC Dimension of Perceptrons

回顾一下PLA,在2D Perceptrons的时候

  • 假设训练数据集线性可分,PLA算法就可以收敛,经过T次(足够大)迭代后就能够得到一个g有E_{in}=0
  • 数据集服从某一未知的分布P,存在一未知的目标f,此时的d_{VC} = 3,那么当N足够大时,就有E_{out}(g) \approx E_{in}(g)

以上两点融合就能证明机器学习可行。

那么如果在更多维的情况下呢?根据1D时d_{VC} = 2和2D时d_{VC} = 3,猜测d_{vc} \stackrel{?}{=} d+1。以下对此进行证明:

基本思路是d_{vc} = d+1\Leftrightarrow \left\{\begin{matrix} d_{vc} \leq d+1\\ d_{vc} \geq d+1 \end{matrix}\right.,只要将两方面都证明即可。

  • d_{vc} \geq d+1,只要证明存在有d + 1的输入可以被shatter

构造一个d维的矩阵X能够被shatter就行。X是d维的,原有d个inputs,每个inputs加上第零个维度的常数项1,得到X为d * (d + 1)的矩阵:

很显然,这个X矩阵是可逆的。

shatter的本质是,H对X中的每一行判断都是正确的,也就是对应着y。从而一定有X * w = y,由于X可逆,必有w=X^{-1} * y。所以对于任意y=(y_1,y_2,...,y^{d+1})^T都能找到一个w使得sign(Xw)=y。

由此证明第一个不等式正确。

  • d_{vc} \leq d+1,就要证明任意d + 2个输入都不能被shatter

任意d + 1维矩阵X,包含d + 2个inputs,由于向量组所含向量个数多于向量的维数(d + 2 > d + 1),矩阵线性相关,某一列就可以用其他d + 1列线性表出,以X_{d + 2}为例:

X_{d+2}=a_1\ast X_1+a_2\ast X_2+\cdots+a_{d+1}\ast X_{d+1}

假设a_1>0, a_2,\cdots,a_{d+1}<0(蓝为+,红为-)

,这个式子是 > 0的。

 在这种情况下,d + 2就被前d + 1项所限制而不能自由分类,当我们希望a_{d+2} < 0时,则产生矛盾。

由此证明第二个不等式正确。

  • 综合以上两点,我们证明了d_{vc} = d+1成立。

Physical Intuition of VC Dimension

这一节阐述VC Dimension的物理意义,它的实质是什么?

VC Dimension其实就是Hypothesis set的自由度,可以从三个方面来理解

  • w中feature的个数,w是hypothesis的参数
  • H中假设的个数M,这刻画了自由度的大小
  • H的分类能力,就是最多能产生多少dichotomy

总之,d_{VC}(H)就反映着假设集H的能力。

通常可以用自由参数的个数来看d_{VC}(H),但这不绝对,通常是个好方法。

过大或者过小的d_{VC}都会产生问题,选择合适的VC dimension很重要,所以选择模型是一件很重要的事。

Interpreting VC Dimension

之前的泛化不等式写到

 这是在|E_{in}-E_{out}|>\epsilon条件下,出现BAD的概率\leq \delta,将其处理为表示GOOD的概率——

 \varepsilon约束了假设空间H的泛化能力,\varepsilon越小,泛化能力越大。

 将根号用\Omega (N,H,\delta )表示,不等式表示在一个很高的几率内,|E_{in}-E_{out}|的值会小于\Omega (N,H,\delta )。

至此,已经推导出泛化误差E_{out}的边界,因为我们更关心其上界(可能的最大值),即:

 \Omega (N,H,\delta )就表示了模型的复杂程度,它与数据集大小N、模型假设集d_{VC}、错误容纳率\delta有关。下图表示了E_{out}、E_{in}、\Omega (N,H,\delta )与d_{VC}的关系)——

è¿éåå¾çæè¿° 这说明H的选择要合适,选择出合适的d_{VC}能够得到更小的E_{out}。

下面的例子表明理论上的N大小,然而实际上N\approx 10d_{VC}就足够,这显示了VC Bound的宽松——

è¿éåå¾çæè¿°

 主要有以下四个原因——

  • 使用了Hoeffding,让我们不用知道E_{out};
  • 使用成长函数m_H(N)来计算任何数据的dicotomies个数上界;
  • 使用N^{d_{VC}}来替代m_H(N),这是上界的上界的上界;
  • 在最差的情况下采用union bound,而算法并不一定会碰到极差的结果。

VC Bound对不同的model都有着差不多的宽松程度,可以利用这个横向比较来找出较好的model,宽松性对机器学习的影响就不是很大。

虽然之后大多不采用VC Bound的理论结果,但是我们还是要掌握其中的哲学信息。

 

机器学习基石:从理论到实践 机器学习是一门涵盖广泛算法和技术的学科,它赋予计算机通过经验自我改进的能力。本章旨在为读者提供对机器学习基础理论的深入理解,并为后续章节中对不同学习方法的探讨打下坚实的基础。机器学习是一种人工智能方法,通过数据或经验来使计算机系统实现特定任务而无需进行明确的编程。它通常被分为监督学习、无监督学习和强化学习三大类。在机器学习领域,模型是指用来从数据中学习规律并做出预测的数学表示。模型的构建是整个学习过程的核心,它需要将数据的特征和输出之间的关系以某种形式表达出来。 阅读详情

相关推荐

台湾大学机器学习基石手写笔记

大家好,我是Mac Jiang,今天和搭建分享的是台湾大学机器学习基石(Machine Learning Foundations)的个人笔记。个人觉得这门课是一门非常好的机器学习入门课程,值得初学者学习!这份笔记是本人一笔一划手写,扫描后上传了,也算是一个月的心血,希望我的工作能够给大家带来一些学习上的帮助。

机器学习基石1(ML基本概念和VC dimension)

ML基本概念和vc dimension

weixin_39861267的博客 1451

机器学习基石

这是台湾大学林轩石老师讲授机器学习基石的课件,林老师讲的非常细很容易理解。

【机器学习基石】概述(一)

目录写在前面1.什么是机器学习2.ML在日常生活中的应用3.ML的简单组成4.ML与其他领域的联系 写在前面 本节内容主要是介绍什么是机器学习,以及机器学习在我们日常生活中的常见应用场景,它与我们的生活并不是分离开来互不影响的。最后引申了它与其他领域的一些关系,整体来说,本节内容较为简单。 本文整理自台湾大学林轩田的《机器学习基石》 1.什么是机器学习 ∙\bullet∙ 机器学习(Machine Learning,简称ML)就是提供给计算机大量的数据,让它分析这些数据得到一些联系并且学会自己处理数据(

taoxing 490

磁传感器技术解析:从霍尔效应到车规级应用,纳芯微的本土第一之路

磁传感器是现代工业与汽车电子中的关键感知元件,其技术演进经历了从分立器件到高集成度SoC的跨越。霍尔效应与磁阻效应构成两大物理基础,其中硅基霍尔方案凭借高性价比与成熟供应链,在车规级应用中占据主流。高精度电流检测、角度与位置感知、磁开关等场景,对传感器的温漂抑制、共模瞬态抗扰与批量一致性提出严苛要求。车规级可靠性体系与系统级集成能力,成为衡量供应商的核心标尺。随着新能源主驱、光伏逆变、工业伺服等应用爆发,具备完整信号链与隔离技术积累的厂商正逐步构建护城河。本文以纳芯微为样本,剖析其从隔离技术延伸至磁传感器平

weixin_34387468的博客 367

PyCharm中Pyvips配置避坑指南:为什么pip安装后import还是报错?

本文详细解析了在PyCharm中配置Pyvips时,即使pip安装成功,import仍报错的根本原因。核心在于Pyvips依赖的libvips原生库未正确配置环境变量。文章提供了从下载libvips、配置Windows系统PATH到PyCharm项目级设置的完整避坑指南,并对比了三种配置策略,帮助开发者彻底解决DLL加载失败问题。

bush的博客 210

1.机器学习基石 | 机器学习简介

什么是机器学习 1.初步认识 机器学习:通过对于data的学习使得某些performance得到增强 2.哪些问题可以使用机器学习 3.具体定义 3.1 问题组成 3.2 学习形式 其中(重点), 3.3 定义 总结 ...

向着星辰大海 364

FreeSWITCH彩铃与回铃音区别详解:从183/180信令到mod_da2检测模块

本文深入解析FreeSWITCH中彩铃与回铃音的技术差异,从183/180信令机制到mod_da2智能检测模块的实现原理。通过对比SIP协议中的早期媒体传输、回铃音补偿技术及实战案例,帮助开发者掌握VoIP系统中的关键音频处理技术,提升呼叫系统稳定性和用户体验。

tree8的博客 351

机器学习基石:深入浅出K-近邻算法(KNN)全解析

K-近邻算法以其质朴的哲学和直观的机制,在机器学习殿堂中占据着独特的一席之地。它告诉我们,有时最有效的决策并不需要复杂的模型,而只需真诚地“看看周围”。从入门教学的基础模型,到工业级向量检索系统的核心引擎,KNN的生命力在于其思想的普适性。核心要义:KNN是一种基于实例、惰性学习的算法,通过计算距离寻找最近邻,并以投票或平均方式做决策。其优势在于直观、无需训练、可解释性强;劣势在于预测慢、对高维和噪声数据敏感。它的未来不在于替代深度学习,而是与强大的特征表示学习结合,并作为向量检索时代。

1567

ESP32-CAM与TFT屏幕实时图像传输:Arduino环境下的OV2640驱动实践

本文详细介绍了在Arduino环境下实现ESP32-CAM与TFT屏幕实时图像传输的完整实践方案。重点解析了OV2640摄像头的驱动配置、硬件引脚连接、TFT屏幕初始化及图像显示优化技巧,帮助开发者快速构建稳定的实时图像显示系统,适用于物联网监控、门禁系统等场景。

cuda7parallel的博客 115

微信小程序云开发订单微信支付与小票和标签打印的完整高效流程

本片文章全文12000字,细致讲述从申请账户到小程序注册到打印机的选型最后到实现微信小程序云开发订单支付更新与小票,标签打印完整的高效流程。客户A在我们的点餐平台上点了一杯咖啡,所以客户要在选好后付款,在付款完成后商家的小票打印机和标签打印机打印出本订单的相关信息。

weixin_52312427的博客 3651

机器学习基石 Lecture7: The VC Dimension

机器学习基石 Lecture7: The VC DimensionDefinition of VC DimensionVC Dimension of PerceptronsPhysical Intuition of VC DimensionInterpreting VC Dimension Definition of VC Dimension 上节课所讲的N个样本分成的dichotomies数量,...

无所知的博客 471

国产AI芯片实战:用寒武纪MLU370低成本部署DeepSeek-R1,实测推理效果与成本分析

本文详细介绍了寒武纪MLU370芯片在部署DeepSeek-R1大模型时的实战效果与成本优势。通过实测数据对比,MLU370在推理速度、能效比和本地化服务方面表现突出,尤其适合智能客服、内容生成等场景,可显著降低硬件投入和运维成本。

weixin_30613727的博客 457

林轩田机器学习基石Lecture 7:The_VC_Dimension

@Lecture 7:The_VC_Dimension 上节课讲到mH会被N的多项式bound住,N的多项式又会小于N的k-1次方,因此坏事情(H的Ein和Eout离得很远)发生的概率会被bound住 Defifinition of VC Dimension VC Dimension of Perceptrons Physical Intuition of VC Dimension Interpr...

qq_42580910的博客 416

【C++STL基础入门】stack栈的基础使用

C++ STL(Standard Template Library)是C++标准库中的一个强大的工具集,提供了各种常用的数据结构和算法。其中之一就是Stack(栈),是一种后进先出(LIFO)的数据结构。使用栈可以很方便地管理数据的顺序,它具有简单、高效和易于使用的特点。本文将介绍Stack栈的基础使用方法,帮助初学者快速掌握它的概念和用法。本文简要介绍了C++ STL中Stack栈的基础使用方法。

m0_62599305的博客 3985

2026美赛数学建模竞赛 MCM C题:与星共舞的数据 问题一 粉丝投票估计模型 详细解题思路和代码

2026美赛数学建模竞赛 MCM C题:与星共舞的数据 问题一 粉丝投票估计模型 详细解题思路和代码.。开发一个(或多个)数学模型,用于估算每位选手在他们参赛的各周的粉丝投票数(这是未知且严格保密的)。您的模型是否能正确估算出导致每周淘汰结果一致的粉丝投票数?提供一致性度量。您估算出的粉丝投票总数有多少确定性?这种确定性对于每位选手/每周是否总是相同?为您的估算提供确定性度量。

YOLO 853

机器学习基石笔记-Lecture 5-7 VC dimension

为了引出VC维做了很长的铺垫。。VC维:用来描述假设空间的表达能力。 第四节讲到对有限的假设空间,只要N足够大,不管A如何选g,训练数据如何选取,g的训练错误率和真实的错误率都很接近。 现在先解决无限假设空间的问题。 希望找到一个 m_H 来替代无限大的M。 系数M的来源是因为对bad data的概率值进行了累加。 但是其实一些h在同一个data上是重叠的,uni...

weixin_30645617的博客 254

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Lecture 7:The VC Dimansion

Lecture 7:The VC Dimansion 【参考】https://redstonewill.com/222/ 所有截图均来自课程课件 【概括】 VC Dimension的概念就是最大的non-break point。然后,我们得到了Perceptrons在d维度下的VC Dimension是d+1。接着,我们在物理意义上,将VC Dimension与自由度联系起来。最终得出结论VC Dimension不能过大也不能过小。选取合适的值,才能让Eout足够小,使假设空间H具有良好的泛化能力。 7.1

weixin_43860935的博客 208

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

机器学习基石-林轩田-第一周笔记

Lecture 01 - The Learning Problem When Can Machine Learn ? Why Can Machine Learn ? How Can Machine Learn ? How Can Machine Learn Better ? What is Machine Learning 什么是“学习”?学习就是人类通过观察、积累经验,掌握某项技能...

Yang-wy 507

《深度剖析:特征工程—机器学习的隐秘基石》

通过深入理解特征工程的重要性和掌握其主要操作,我们能够将原始数据转化为模型易于学习和理解的形式,为构建高性能的机器学习模型奠定坚实基础,从而在数据驱动的时代中,更有效地挖掘数据价值,解决各种复杂的实际问题。包裹法:将特征选择过程与模型训练相结合,以模型的性能指标(如准确率、召回率)作为评价标准,通过不断尝试不同的特征子集,选择使模型性能最优的特征组合。例如,在预测房价时,可以将房屋面积和房间数量相乘,得到一个新的特征,它可能反映了房屋的空间利用效率,对房价的预测有重要作用。

xy520521的博客 1197

力荐 | 台大林轩田《机器学习基石》资源汇总

本文所有资源已放在github上,欢迎star: NTU-HsuanTienLin-MachineLearning 课程介绍 台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面,基本涵盖了机器学习领域的很多方面。其作为机器学习的入门和进阶资料非常适合。而且林老师的教学风格也很幽默风趣,总让读者在轻松愉快的氛围中掌握知识。在此,笔者将把这门课的所有视频、笔记、书籍等...

红色石头的专栏 1万+

机器学习基石 ------Type of learning

Feature Concrete Feature Raw Feature Abstract Feature 以识别手写数字为例: 1.Concrete Feature: 具体的特征,通常具体特征对于机器学习而言会产生较大的影响 比如对于不同的手写数字,像素分布密度不同,对称性不同 等等(密度 对称性 是较为具体的特征)具有现实意义的特征 2. Raw Feature : 对于手写数字而言,每一...

一只小包子的博客 508

机器学习基石--------feasibility of learning

1.语法示例 1.1 suyi asda asdas ada asdad

一只小包子的博客 340

《机器学习基石》学习笔记 5 Training versus Testing

上节课,我们主要介绍了机器学习的可行性。首先,由NFL定理可知,机器学习貌似是不可行的。但是,随后引入了统计学知识,如果样本数据足够大,且hypothesis个数有限,那么机器学习一般就是可行的。本节课将讨论机器学习的核心问题,严格证明为什么机器可以学习。从上节课最后的问题出发,即当hypothesis的个数是无限多的时候,机器学习的可行性是否仍然成立? ...

Wolf_xujie的博客 381

机器学习基石-Feasibility of Learning

大纲Learning is ImpossibleNo Free Lunch Theory假设有8个hypothesis,这8个hypothesis在D上,对5个训练样本的分类效果效果都完全正确。但是在另外3个测试数据上,不同的hypothesis表现有好有坏。在已知数据D上,g≈f;但是在D以外的未知数据上,g≈f不一定成立。而机器学习目的,恰恰是希望我们选择的模型能在未知数据上的预测与真实结果是一

格物致知 624
上一篇: 台大机器学习基石 Lecture 6 - Theory of Generalization
下一篇: 台大机器学习基石 Lecture 8 - Noise and Error
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值