台大机器学习基石 Lecture 12 - Nonlinear Transformation

機器學習基石(Machine Learning Foundations) 机器学习基石 作业三 课后习题解答 今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答。笔者在做这些题目时遇到很多困难,当我在网上寻找答案时却找不到,而林老师又不提供答案,所以我就想把自己做题时对题目如何思考的写下来,为大家提供一些思路。当然,我对题目的理解不一定是正确的,如果各位博友发现错误请及时留言联系,谢谢!再次提醒:请不要以此博客作为通过考试的用 阅读详情

本次Lecture主要是讲述如何将非线性问题变成线性问题来求解。

Quadratic Hypotheses

我们之前看到的都是线性的得分函数s=w^Tx,这样在二维上是一条直线,三维上是一个平面。

在不具有线性性质的情况下,尽管d_{vc}比较小,能保证E_{in}\approx E_{out},但是在一些数据上E_{in}会很大,这样的结果就不太理想了。

 就像在上图的左图中,我们可以用一个圆来划分,圆形内部是正类,外面是负类。假设它的hypotheses可以写成:h_{SEP}(x)=sign(-x_1^2-x_2^2+0.6),于是我们就能把这个式子再写成h(x)=sign(\tilde{w}_0\cdot z_0+\tilde{w}_1\cdot z_1+\tilde{w}_2\cdot z_2)的形式——

这样我们就将x空间的点映射到z空间中去,在\{ (x_n,y_n)\}是可用圆来划分的,\{ (z_n,y_n)\}就可以线性划分,完成了x_n \in X \overset { \Phi }{\rightarrow}z_n \in Z的转换,\Phi被称为非线性特征转换(nonlinear feature transform)。

反过来,如果\{ (z_n,y_n)\}是线性可分的,是不是\{ (x_n,y_n)\}一定可以用圆来划分呢?答案是不一定的,因为不同的参数可能会形成不同的二次曲线,当然也有可能会让h(x)恒为正/负。

 那么我们如果要讨论更加一般的情况,特征转换为\Phi_2(x)=(1,x_1,x_2,x_1^2,x_1x_2,x_2^2),这样就能够表示所有的二次曲线划分,当然也包括直线、常数点这些特殊情况。那么Z域中的hypothesis可以写成:

Nonlinear Transform

现在我们知道了如何将二次曲线划分hypothesis转化成线性划分hypothesis,那么如何设计一个好的二次hypothesis来达到良好的分类效果呢?

其实还是通过映射的方法,将X域中的二次多项式转换为Z域中的一次向量,这样就能用z值代替x的多项式,其中向量z的个数与x域中x多项式的个数一致(包含常数项)。这样在Z域中可利用线性分类模型进行分类训练。训练好的线性模型中,将z替换为x的多项式就可以。

具体步骤如上图,其实就是一个变换后训练,训练后逆变换(代入)的过程。

于是通过下面两个关键点,就能像打开潘多拉魔盒一样,将非线性的问题用线性问题来解决。

  • feature transform 特征转换\Phi
  • linear model 线性模型A

而其实,我们之前也碰到过类似的方法,在笔记识别中,就是将raw原始数据转换成concrete具体特征,然后在进行训练,最后能将识别的raw图片成功分类,这是同样的transform思想。

Price of Nonlinear Transform

我们之前研究的是2阶d维的特征,它在Z域的特征维度有:

\tilde{d} + 1=1+C_d^1+C_d^2+d=\frac{d(d+3)}2+1

如果阶数上升为Q,那么Q阶transform多项式\Phi _Q(x)在Z域的特征维度就是:

\tilde{d}=C_{Q+d}^Q=C_{Q+d}^d=O(Q^d)

由此可以看出,随着Q和d的增大,计算量会变得很大,空间复杂度也大。也就是说,这种特征变换的一个代价是计算的时间、空间复杂度都比较大。

从VC Dimension的角度来看,Z域的特征维度增大就会让w的维度增大,也就是自由度增加,VC Dimension就会增大。可以证明的是\tilde{w}_i = \tilde{d} + 1 \approx d_{vc}(H_{\Phi_Q}),并且有d_{vc}(H_{\Phi_Q}) \leq \tilde{d} + 1,令Z域中的特征维度是\tilde{d} + 1,则在域中,任何\tilde{d} + 2的输入都不能被shattered;同样,在X域中,任何\tilde{d} + 2的输入也不能被shattered。也就是Q较大的时候,VC Dimension会比较大,模型的泛化能力会比较差。

 这个例子就告诉我们Q比较大时候的矛盾,\Phi_4的E_{in}小,但是过拟合E_{in}与E_{out}相差较大,泛化能力倒不如\Phi_1。所以就需要一个合适的Q来确保模型的正确且泛化能力较好。采用什么方法呢?当然可以画图来人工视觉观测决定,但是我们往往不能在样本之外获得良好的效果。所以一般情况下还是要保存所有的多项式特征,避免人为选择。

Structured Hypothesis Sets

我们能看到随着阶数Q的增加,特征维度是不断增加的,变换多项式是包含了之前的多项式的——

于是,我们就能在不同阶次构成的hypothesis发现如下关系,这就是Structured Hypothesis Sets——

H_{\Phi_0} \subset H_{\Phi_1} \subset H_{\Phi_2} \subset \cdots \subset H_{\Phi_Q}

VC Dimension满足下列关系:d_{VC}(H_0)\leq d_{VC}(H_1)\leq d_{VC}(H_2)\leq \cdots \leq d_{VC}(H_Q)

E_{in}满足下列关系:E_{in}(g_0)\geq E_{in}(g_1)\geq E_{in}(g_2)\geq \cdots \geq E_{in}(g_Q)

所以随着阶数Q的增大,就呈现了下图的样子(非常熟悉吧~)——

 这其实也就是说明了我们在上一节最后的问题,Q不能选得太大,那样会让E_{out}也非常大。

所以一个安全的方法就是从H_1开始尝试,呈现出两种结果——

  • E_{in}(g_1)就已经很好了,那当然就可以收工了
  • 否则的话,就继续增大Q,让曲线向右移动,这样总能找到一个合适的Q(大不了多浪费一点计算)

通过不断增加Q寻找最优的方法,我们能够安全地得到理想的结果。而不是一味地追求复杂模型,简单模型反而能得到好的结果。

 

機器學習基石 机器学习基石(Machine Learning Foundations) 作业1 习题解答 大家好,我是Mac Jiang,今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业1的习题解答。笔者是在学习了Ng的Machine Learning之后开始学习这门课程的,但还是感觉收获颇丰。Ng的课程主要站在计算机专业的角度,教你如何使用机器学习,注重方法而不是数学推导,是一门很好的入门教程;而林轩田老师的机器学习基石是站在统计 阅读详情

相关推荐

【信息科学与工程学】【数据科学】第十八篇 数值分析 系列二 数值算法设计01

编号类型领域问题问题的数学分析及数值分析算法逐步推理思考的数学表达式参数列表及参数的边界范围及条件及常数关联知识1数值积分数值逼近计算定积分 I=∫ab​f(x)dx的近似值。数学分析:将积分区间等分,利用插值多项式近似被积函数,构造机械求积公式。数值分析:Newton-Cotes公式是等距节点的插值型求积公式。高阶公式(n≥8)因Cotes系数有正负,数值不稳定。偶阶公式(如Simpson)具有n+1次代数精度。为提高精度,常采用复化求积法(将区间细分后应用低阶公式)。

weixin_49199313的博客 161

台湾大学林轩田机器学习基石课程学习笔记12 -- Nonlinear Transformation

我的优快云博客地址:红色石头的专栏 我的知乎主页:红色石头 我的微博:RedstoneWill的微博 我的GitHub:RedstoneWill的GitHub 我的微信公众号:红色石头的机器学习之路(ID:redstonewill) 欢迎大家关注我!共同学习,共同进步! 上一节课,我们介绍了分类问题的三种线性模型,可以用来解决binary classifi...

红色石头的专栏 4961

【LaTeX】IEEE会议模板中使用BibTex插入文献(解决报错:Something‘s wrong--perhaps a missing \item. \end{thebibliography}

使用IEEE会议论文LaTeX模板时遇到的一个错误,问题描述为:使用Texstudio编译LaTeX模板报错,报错信息提示为。出现的原因为IEEE会议论文模板自带的参考文献引用方式为手动插入,即不使用格式的参考文献,手动将参考文献调整为合适格式,然后粘贴到文本中,我准备将其换成方法引用参考文献。我的替换步骤为删除原始参考文献对应内容,即模板中的: 将以下函数添加到原始参考文献对应位置,对应上文新建的文件。 再次编译出现报错 删除文件夹中的文件 修改模板中的引用名称 引用方法为: 将 替换为 再次编译——

TangPlusHPC的博客 9924

林轩田机器学习基石Lecture 12: Nonlinear Transformation

@Lecture 12: Nonlinear Transformation本章主要讲如何通过特征变换,将线性模型推广到非线性 Quadratic Hypotheses 首先,从二次假设开始:假设数据不是线性可分的,但是可以通过一个二次曲线将其分开,如下图所示,样本数据的分界线是一个圆形曲线 分界线函数: 如果令z=x的平方,也就是把数据样本从x空间转换到z空间,发现z可以线性可分 Nonlin...

qq_42580910的博客 291

ffmpeg(一) ffmpeg+QT开发环境搭建

(exe 程序编译的时候只需要包含 xxx.dll.a 静态导入库,运行的时候才需要 xxx.dll 文件)这个 .pro 文件的配置,是指导程序编译的时候,可以找到对应的动态库。值得一提的是,在Windows中,静态链接库(Static Link Library)的扩展名也是.lib、.dll.a。其实只要你掌握了FFmpeg,也可以很快上手其他音视频开发库,因为底层原理都是一样的,你最终操作的都是一样的数据,比如MP3、MP4文件。导入库:不包含函数的具体实现代码(函数的具体实现代码存储在dll中)

小道士写程序 8209

Anolis 8系统下,手把手搞定Nginx、Redis、JDK8和Tomcat9的完整安装与配置(含开机自启)

本文详细介绍了在Anolis 8系统下搭建Java Web全栈环境的完整流程,包括JDK8、Tomcat9、Nginx和Redis的安装与配置,并实现系统级服务管理。通过深入每个组件的配置细节,揭示服务间的协同关系,最终打造一个生产级可用的标准化环境。

weixin_42556197的博客 160

Lecture 12 : Nonlinear Transformation

Lecture 12 : Nonlinear Transformation 【参考】https://redstonewill.com/246/ 【概括】 主要介绍了非线性分类模型: 通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行线性分类; 非线性变换的整体流程(特征转换+线性模型训练)。得到一个好的二次hypothesis来达到良好的分类效果的目标就是在z域中设计一个最佳的分类线; 非线性变换可能会带来的一些问题:时间复杂度和空间复杂度的增加; 在要付出代价的情况下,使用非线性变换

weixin_43860935的博客 370

C#+Winform+OpenCvSharp实战:5步搞定工业视觉检测框架(附源码下载)

本文详细介绍了如何使用C#、Winform和OpenCvSharp构建工业视觉检测框架,通过5个关键步骤实现高效、稳定的视觉检测系统。内容涵盖环境配置、相机集成、核心算法实现、系统集成与通信,以及部署优化,帮助开发者快速掌握工业视觉检测技术,提升检测精度和效率。附完整源码下载,助力工业数字化转型。

pz89012345的博客 551

机器学习基石 Lecture12: Nonlinear Transformation

机器学习基石 Lecture12: Nonlinear TransformationQuadratic HypothesesNonlinear TransformPrice of Nonlinear TransformStructured Hypothesis Sets Quadratic Hypotheses 目前讲解的都是线性的假设,也就是分界面是一个像线一样的边界。从数学上来看就是都有一个s...

无所知的博客 350

Java语音革命:用代码打造永不疲倦的AI客服,让客户支持效率飙升300%!

客户支持领域常面临“薛定谔困境”,即无法预知客户来电的意图是投诉还是表扬。通过Java技术,尤其是语音识别和自然语言处理(NLP),可以有效解决这一问题。文章展示了如何利用Java代码构建“声纹量子引擎”,实现客户支持的自动化。核心技术包括录音与预处理、语音识别和语义理解。通过百度AI API和Stanford NLP,系统能够快速、准确地识别客户语音并理解其意图。数据表明,优化后的AI处理时间从15分钟缩短至18秒,语音识别准确率提升至98.5%,并发处理能力达到单实例1000+请求。这些技术显著提升了客

墨夶的博客 1037

【第13话:感知算法】库位与可行驶区域检测:自主泊车场景中的检测及语义分割方法

本文提出了一种自动泊车系统中的泊车库位线检测方法,通过逆透视映射(IPM)将车辆摄像头图像转换为鸟瞰视图,消除透视变形。该方法结合目标检测和语义分割模型,先定位库位线候选区域,再生成像素级精确掩码。后处理步骤将掩码转换为结构化输出,包括停车位边界多边形和可行驶区域掩码。整个流程采用深度学习模型和计算机视觉技术,可实现高精度的泊车环境感知,为自动泊车系统提供可靠支持。

一碗白开水一 1162

机器学习基石笔记-Lecture 12 Nonlinear transformation

从线性扩展到非线性。 对特征进行非线性变换后在新的特征空间的直线可以对应到原始空间的各种曲线上。 注意到将x进行变换到Q阶后,相应的w的维度增多,意味着新的假设空间的vc维变大,模型复杂度提升,泛化能力降低。(Ein与Eout不接近的可能性提高了) 然后说了各阶变换后的新假设空间的关系,如果随着vc维增加,Ein下降但是Eout上升,说明出现过拟合了。 ...

weixin_30730053的博客 142

【算能】TPU(张量处理单元)的深度解析

算能(SOPHGO)作为国产AI芯片领域的核心企业,其TPU(张量处理单元)以高能效比与全场景覆盖能力为核心竞争力,专注于边缘计算与行业垂直领域的AI推理加速。

浩瀚之水的专栏 1550

台大机器学习基石 Lecture 13 - Hazard of Overfitting

本次Lecture主要介绍机器学习中很重要的问题:过拟合(overfitting),并且介绍了部分解决过拟合问题的方法。 What is Overfitting? 先通过一个例子来介绍bad generalization。 假设平面上有5个点,目标函数是2阶多项式: 如果hypothesis是二阶多项式加上一些小的noise的话,那么这5个点很靠近这个hypothesis,很小。 ...

ZayneHuang的博客 1128

《FPGA接口与协议》专栏的说明与导航

《FPGA接口与协议》专栏的说明与导航(建议阅读)。

孤独的单刀 17万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

台大机器学习基石 Lecture 9 - Linear Regression

这节课开始介绍一些常见算法,这次Lecture介绍了最常见的Linear Regression线性回归算法。 Linear Regression Problem 在Linear Regression模型下的hypothesis为,特征集为d维,加上常数项后就为d + 1维(所以注意i从0开始)。在线性回归中,误差的衡量常采用平方误差(squared error):,相关的记号已经在上一节课...

ZayneHuang的博客 502

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

台大机器学习基石 Lecture 6 - Theory of Generalization

这节课基于上节课与break point的关联,研究了的上界是否为多项式的问题,得到结论为多项式上界,并将其代入Hoeffding不等式,得到VC Bound,证明只要break point存在,机器学习就是可行的。 Restriction of Break Point 我们先看一下四个成长函数与break point的关系: 成长函数是一个hypothesis在N个数据点上可以产生...

ZayneHuang的博客 369

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

台大机器学习基石 Lecture 11 - Linear Models for Classification

这次Lecture总结比较了已经学习的三种模型优缺点,引入SGD来优化Logistic Regression,讲解了Multiclass Classification中的OVA和OVO方法。 Linear Models for Binary Classification 之前三种线性模型都是对样本特征x的加权运算,我们引入一个线性得分函数(linear scoring function)s...

ZayneHuang的博客 365

台大机器学习基石 Lecture 7 - The VC Dimension

本次Lecture主要介绍VC Dimension,从non-break point的角度来看之前break point对VC Bound的影响。最终得出结论要选择合适的来同时保证较小的和较低的模型复杂度。 Recap 通过上节课的证明,我们知道了有多项式上界,这是在的条件下的。我们又得到了VC Bound,这是在M无限的前提下的Hoeffding不等式,那么我们将代入VC Bound...

ZayneHuang的博客 360

台大机器学习基石 Lecture 8 - Noise and Error

本次Lecture主要讲了在存在Noise噪声的情况下,是否能够进行机器学习,VC Dimension是否还有作用,并且介绍了一些评价Model的Error度量方法,这是要根据实际问题来确定的。 Noise and Probablistic Target 数据集D存在噪声的情况下,是否还能学习呢? Noise主要来源于以下三种—— 由于人为因素,正类被误分为负类,或者负类被误分为正...

ZayneHuang的博客 344

台大机器学习基石 Lecture 14 - Regularization

本次Lecture主要讲解了解决overfitting问题的方法——Regularization正则化 Regularized Hypothesis Set 我们在上节课知道,当用一个高次的多项式对target function进行拟合的时候,就会出现小而大的情况,这就是过拟合(overfitting)。而当用较低次的多项式进行拟合的时候,就能够得到左边这样比较良好的效果。 于是,这...

ZayneHuang的博客 317

台大机器学习基石 Lecture 16 - Three Learning Principles

本次Lecture介绍了机器学习中比较常用的三个“锦囊妙计”。 Occam's Razor 奥卡姆剃刀定律(Occam’s Razor),总结而言就是“如无必要,勿增实体”,要用尽可能简单且有好效果的方法来处理数据。 那么就有两个问题: 什么样的模型是“简单的”?简单的模型一方面指hypothesis比较简单,也就是模型的参数比较少;另一方面指模型的hypotheses有限不太多。这两者是...

ZayneHuang的博客 304

台大机器学习基石 Lecture 15 - Validation

本次Lecture介绍了通过validation的方法来帮助我们选择模型并在没有测试集的情况下评价模型好坏,保证训练的模型有良好的泛化能力。 Model Selection Problem 上面这幅图就说明,就算是一个最简单的二元分类问题,都要涉及算法A、迭代次数T、步长、特征转换方法、正则regularizer、正则参数这些选择,他们叠加起来会形成不同的机器学习效果,因此我们要找到合...

ZayneHuang的博客 296

台大机器学习基石 Lecture 10 - Logistic Regression

这次Lecture讲的是另一种回归方法——逻辑回归(Logistic Regression),虽然说的是回归问题,但它其实是一个‘软’分类,本次课介绍了逻辑回归的方法、错误衡量方法、求解最优的方法。 Logistic Regression Problem 之前提过的二元分类器如PLA,其目标函数为,,是一个“硬”的分类器。而Logistic Regression的输出是的概率,因此Logi...

ZayneHuang的博客 287

台大机器学习基石 Lecture 2 - Learning to Answer Y/N (PLA)

Perceptron Hypothesis Set Perceptron : 感知机 对于一个假设h(x),结果与权值w和阈值threshold有关。 sign(x)函数表示:sign(x > 0) = +1, sign(x < 0) = -1。 对二元的h(x),形成如下线性分类: 由此,感知机模型成为了一个线性(二分)分类器(linear/binary class...

ZayneHuang的博客 272

台大机器学习基石 Lecture 4 - Feasibility of Learning

这次Lecture主要讨论的是有限假设下的机器学习可行性。我们为什么能通过算法选出的定作,而又为什么一定与相接近呢? Learning is Impossible? 这一部分主要讨论了这么一个问题:能够在数据集上满足的是否一定能有? 上图就说明了,在以外的数据中更接近目标函数是不确定的,而我们希望机器学习能做到所选模型能在数据集之外也有与真实结果一致的预测结果,而不是仅限于数据集中。...

ZayneHuang的博客 270
上一篇: 台大机器学习基石 Lecture 11 - Linear Models for Classification
下一篇: 台大机器学习基石 Lecture 13 - Hazard of Overfitting
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值