台大机器学习基石 Lecture 14 - Regularization

关于神经网络的capacity、regularization、generalization 以一个ANN(MLP,级联的FC网络)为例,每一层的每一个units(neurons)代表着这一层所构建的特征空间中的一维,或者是这一层所能代表类别的某一类别的confidence: (即若ANN中的某一层有3个neuron,后一层有5个neuron,y = W * x + b, 这两层之间的W是一个5*3的矩阵。那么这两层相当于把输入为3 * dim的一个feature map转换成5 * d... 阅读详情

本次Lecture主要讲解了解决overfitting问题的方法——Regularization正则化

Regularized Hypothesis Set

我们在上节课知道,当用一个高次的多项式对target function进行拟合的时候,就会出现E_{in}小而E_{out}大的情况,这就是过拟合(overfitting)。而当用较低次的多项式进行拟合的时候,就能够得到左边这样比较良好的效果。

于是,这种获得regularized fit的方法就是试着将高次的多项式退化到低次多项式。根据之前所学,多项式拟合这种假设空间,是nested hypothesis,也就是H_{2}是包含在H_{10}中的,如下图——

所以,我们可以对H_{10}添加一些限制条件(constraints)退化成H_{2}。

H_{10}和H_{2}分别可以表示为:

H_{10}=w_0+w_1x+w_2x^2+w_3x^3+\cdots+w_{10}x^{10}

H_2=w_0+w_1x+w_2x^2

那么只要有w_3=w_4=\cdots=w_{10}=0就能得到H_{10} = H_{2},也就是将高阶项的系数限制为0,这样高阶就转化为了低阶,图形更加平滑了。但是,这种条件比较严格,等价于转化为二阶多项式了。

现在提出一种宽松一点的限制条件,限定了w\neq 0的个数,并不限定必须是高阶的w。这个Looser Constraint的方程写为:

\sum_{q=0}^{10}[w_q\neq0]\leq3(这里[ ]表示布尔计数)

这种hypothesis记为{H_2}',称为sparse hypothesis set。它与H_{2}和H_{10}的关系为:H_2\subset H_2'\subset H_{10}。

最优化问题就转化为求解\underset{w\in\mathbb{R}^{10+1}}{min}E_{in}(w)\;\;\;\;\;\text{s.t.}\sum_{q=0}^{10}[w_q\neq0]\leq3,这被证明是NP-hard,求解非常困难。

于是,我们就u一种更容易求解的宽松的限定条件Softer Constraint,即:

H(C) \equiv \{ w \in \mathbb{R}^{10 + 1} \;\text{while}\; ||w||^2\leq C\}

最优化问题转化为\underset{w\in\mathbb{R}^{10+1}}{min}E_{in}(w)\;\;\;\;\;\text{s.t.}\sum_{q=0}^{10}w_q^2\leq C。

H(C)与{H_{2}}'之间有重叠的部分,但是没有完全包含的关系,也不一定相等。对应的H(C)中C值越大,限定的范围越大,即越宽松平滑:

H(0)\subset H(1.126)\subset \cdots \subset H(1126)\subset \cdots \subset H(\infty)=H_{10}

这H(C)被称为regularized hypothesis set,这种条件下的w是可解的,我们将取得满足条件的最优解时的w记作w_{REG}。

那么接下来就讨论如何求解w_{REG}。

Weight Decay Regularization

我们知道,E_{in}(w) = \frac{1}{N}\sum_{n = 1}^{N}(w^Tz_n-y_n)^2,并且有\sum (\cdots)^2 = (\cdots)^T(\cdots),于是H(C)就可以转化为:

\underset{​{\color{Purple}w}\in\mathbb{R}^{10+1}}{min}{\color{Blue}E_{in}({\color{Purple}w}) } = \frac{1}{N}(Z{\color{Purple}w}-y)^T(Z{\color{Purple}w}-y) \;\;\;\;\;\text{s.t.}{\color{Red}w^Tw \leq C}

这个限定条件从几何角度上的意思是,权重{\color{Purple}w}被限定在半径为的球内,而球外的{\color{Purple}w}都不符合要求,即它是靠近{\color{Blue}E_{in}({\color{Purple}w})} = 0的{\color{Purple}w}。

 从几何的角度来辅助解释求解最小{\color{Blue}E_{in}({\color{Purple}w})}的过程:

  • 红圈表示限制条件的边界,蓝圈表示{\color{Blue}E_{in}({\color{Purple}w})}是当前{\color{Purple}w}下的取值
  • 假设在空间内有一点{\color{Purple}w}(当然它是满足限制条件{\color{Red}w^Tw \leq C}的),根据梯度下降算法,{\color{Blue} -\nabla E_{in}}是当前{\color{Purple}w}下的移动方向(图中蓝色箭头)
  • (我们之前学过)在没有约束条件的时候,随着{\color{Blue} -\nabla E_{in}}的不断变化,最终{\color{Purple}w}会使{\color{Blue}E_{in}({\color{Purple}w})}到达“谷底”,也就是{\color{Purple}w} = w_{LIN}
  • 现在加上了约束条件,{\color{Purple}w}被限制在红色的球内,不会达到w_{LIN}的位置,最大只可能在红圈的边缘沿着切线方向移动(图中绿色箭头),而不可能沿着法线方向移动(图中红色箭头)。当然,这个法线的方向其实就是{\color{Purple}w}的方向,这是由原点指向{\color{Purple}w}的。
  • 于是{\color{Blue} -\nabla E_{in}}在切线方向产生投影{\color{Green} (-\nabla E_{in})_{\perp }},在投影向量的作用下{\color{Purple}w}不断移动,直到{\color{Green} (-\nabla E_{in})_{\perp }} = 0为止
  • 也就是说,移动的终止条件是{\color{Blue} -\nabla E_{in}({\color{Purple}w_{REG}})}\propto {\color{Purple}w_{REG}}

于是,取得最优解就要满足条件{\color{Blue} \nabla E_{in}({\color{Purple} w_{REG}})}+{\color{Orange} \frac{2\lambda}{N}}{\color{Purple} w_{REG}}=0,其中{\color{Orange} \lambda >0}被称为拉格朗日乘子(Lagrange multiplier),于是我们只要求解方程中的{\color{Purple}w_{REG}}即可。

》》如果{\color{Blue} \nabla E_{in}}是线性的,我们将{\color{Blue}E_{in}({\color{Purple}w}) } = \frac{1}{N}(Z{\color{Purple}w}-y)^T(Z{\color{Purple}w}-y)代入得\frac2N(Z^TZ{\color{Purple} w_{REG}}-Z^Ty)+\frac{2\lambda}N{\color{Purple} w_{REG}}=0,因为Z^TZ是半正定矩阵,如果{\color{Orange} \lambda > 0 },那么Z^TZ+{\color{Orange} \lambda }I一定是正定矩阵,即一定可逆。

于是有最优解:{\color{Purple} w_{REG}} \leftarrow (Z^TZ+{\color{Orange} \lambda} I)^{-1}Z^Ty

统计学上把这叫做ridge regression,可以看成是linear regression的进阶版。

》》对于更一般的情况,{\color{Blue} \nabla E_{in}}是非线性的,{\color{Purple}w_{REG}}就不能用之前的方法求解。所以从另一个角度来看平行方程——

已知{\color{Blue} \nabla E_{in}}是{\color{Blue} E_{in}}对{\color{Purple}w_{REG}}的导数,而\frac{2{\color{Orange} \lambda}}{N}{\color{Purple} w_{REG}}也可以看成是\frac{​{\color{Orange} \lambda}}N{\color{Purple} w_{REG}}^2的导数。那么等式左边可以看成一个函数的导数,导数为零,即求该函数的最小值。

于是方程转换为取函数{\color{Blue} E_{aug}({\color{Purple} w})}={\color{Blue} E_{in}({\color{Purple} w})}+\frac{​{\color{Orange} \lambda}}N{\color{Purple} w}^T{\color{Purple} w}的最小值,这个函数被称为augmented error,其中第二项就是限定条件regularizer,也称为weight-decay regularization。

用一个例子来体现不同的{\color{Orange} \lambda }的作用效果:

我们可以把{\color{Orange} \lambda }看成是一种penalty,即对hypothesis复杂度的惩罚。

  • {\color{Orange} \lambda }越大,{\color{Purple}w}就越小,对应于C值越小,即这种惩罚越大,拟合曲线就会越平滑,高阶项就会削弱,容易发生欠拟合。
  • {\color{Orange} \lambda }一般取比较小的值就能达到良好的拟合效果,过大过小都有问题,但究竟取什么值,要根据具体训练数据和模型进行分析与调试。

我们目前讨论的多项式是形如x,x^2,x^3,\cdots,x^Q的形式,若x \in [-1,1],那么可能导致x^Q相对于低阶的值要小得多,则其对应的{\color{Purple}w_q}非常大,相当于要给高阶项设置很大的惩罚。

为了避免出现这种数据大小差别很大的情况,可以使用Legendre Polynomials代替x,x^2,x^3,\cdots,x^Q这种形式,Legendre Polynomials各项之间是正交的,用它进行多项式拟合的效果更好。

Legendre Polynomials这里不做详细介绍,感兴趣的同学可以看维基百科。

至此,我们将一个有限制的最优化转化为了无限制的最优化。

Regularization and VC Theory

下面研究一下Regularization与VC Theory之间的关系——

  • Augmented Error表达式:{\color{Purple} E_{aug}({\color{Purple} w})}={\color{Blue} E_{in}({\color{Purple} w})}+\frac{​{\color{Orange} \lambda}}N{\color{Purple} w}^T{\color{Purple} w}
  • VC Bound表达式:E_{out}(w)\leq E_{in}(w)+\Omega(H)

我们可以从另一个角度来看待Augmented error

  • {\color{Purple} w}^T{\color{Purple} w}可以被视作单个的假设{\color{Purple}w}有多复杂;而VC中的\Omega (H)则是假设集的复杂程度。将两者相类比,可以将{\color{Purple} w}^T{\color{Purple} w}记作\Omega ({\color{Purple}w})。
  • 而根据两者的表达式,\Omega ({\color{Purple}w})被包含在\Omega (H),也就是\frac{​{\color{Orange} \lambda}}N{\color{Purple} w}^T{\color{Purple} w}能够很好地表现\Omega (H)。
  • 从而可以用{\color{Purple} E_{aug}}来代理E_{out},相比之前用E_{in}来得到的E_{out}更好。

由于“代理人”{\color{Purple} E_{aug}}的存在,我们就能够对整个假设集H有一个评判,{\color{Purple} E_{aug}}知道哪个{\color{Purple}w}比较好,可以自由选择。

根据VC Dimension理论,整个hypothesis set的模型复杂度d_{VC}=\hat{d}+1,这是因为在最小化的过程中考虑了所有的{\color{Purple}w},没有任何限制条件。

但是实际上,并不是将所有{\color{Purple}w}都考虑,实际上只要考虑H({\color{Orange} C})就可以,于是就有d_{VC}(H(C))=d_{EFF}(H,{\color{Orange} A}),也就是综合了假设集和学习算法综合的复杂度,{\color{Orange} \lambda >0}时总有d_{EFF}(H,{\color{Orange} A})\leq d_{VC} = \hat{d}+1。

学习算法{\color{Orange} A}中包含了regularized的过程,也就像给算法加上了“踩刹车”的功能(记不得这个功能可以复习以下上一讲的内容),减少了模型复杂度,也避免了过拟合的可能。

General Regularizers

那么在一般的时候,Regularizers\Omega (w)应该如何选取呢?(也就是这些条件如何选取呢?)当然我们在做机器学习的时候往往不知道target function,所以一般都是在限制内朝着target function的方向来选取。

主要有三种方式:

  • target-dependent:比如我们需要一个偶函数的结果,那我们只要给奇次方系数加上权重,让他们变小就好了。
  • plausible:选择一些可以说服我们自己的条件,让我们相信能得到更平滑更简单的结果就可以减少噪声了。(下一页的L1 Regularizer就是这样)
  • friendly:找到一个容易优化的regularizer,就像之前介绍的weight-decay regularizer就是这样。

那万一选到一个不好的regularizer怎么办?这个大可以放心,因为我们对regularizer有系数{\color{Orange} \lambda }来限制,不理想的时候把它调小甚至为0就可以,最差就是不用罢了。

Regularizer的选取方式跟error measure的选取原则相似的原则,error measure是user-dependent, plausible, or friendly。

我们在第二节的时候已经看过了一种weight-decay的regularizer,被称为L2 regularizer(下图左)。这种形式的regularizer计算的是{\color{Purple}w}的平方和,是凸函数,比较平滑,易于微分,容易进行最优化计算。

我们再看L1 Regularizer的表达式:\Omega(w)=\sum_{q=0}^Q|w_q|=||w||_1。这是对{\color{Purple}w}求绝对值之和,也就是长度之和,也是凸函数,但并不是圆形而是正方形,也就不是处处可微的了。(上图右)

L1的解是稀疏的(sparse)。这是因为:根据之前的推导,我们知道{\color{Blue} -\nabla E_{in}}与垂直于平面(红线)的方向平行才会达到最优,而在边上是很难的,在靠近顶点的位置才会达到(有一些w是0)。

于是,在需要一些稀疏解的时候,L1就比较有用。

关于这两个regularizer更多讲解可以看这篇帖子:机器学习中的范数规则化之(一)L0、L1与L2范数。

接下来的问题是,{\color{Orange} \lambda }应该怎么选择比较好?

我们看到, stochastic和deterministic两种噪声越大的时候,{\color{Orange} \lambda }就越大。我们可以理解为,路面越不平整的时候,刹车踩得就越多。那么很多时候我们并不知道noise的情况,这种时候如何来设置{\color{Orange} \lambda }呢?下次课继续讲解。

 

CS231n计算机视觉课程:从零到精通的深度学习实践指南 如果你正在寻找一门真正能带你从零基础入门,并最终掌握计算机视觉核心能力的课程,那么斯坦福大学李飞飞教授主讲的CS231n《面向视觉识别的卷积神经网络》课程,几乎是你无法绕开的必学经典。但问题来了:这门课程内容庞大、涉及数学和编程基础,网上资料虽多却良莠不齐,一个新手该如何高效、系统地学习,并最终能动手实践,而不是仅仅停留在“看过”的层面? 更关键的是,网络上充斥着“斯坦福2026最新版李飞飞亲授”这类标题,容易让人产生误解。事实上,CS231n课程的核心公开视频版本定格在2017年,其理论基石(如卷积神经网 阅读详情

相关推荐

用Excel从零实现神经网络反向传播:无需编程的深度学习原理实践

神经网络的核心在于反向传播与梯度下降,这是一种基于链式法则的数学优化机制,其本质是通过误差信号逐层分配、计算权重更新方向与步长。掌握该原理对理解模型可解释性、调试训练异常(如梯度消失、权重爆炸)及构建可信AI系统具有关键工程价值。在数据科学教学、金融建模验证和业务场景快速原型设计中,Excel凭借公式可见、计算可溯、修改即时等特性,成为不可替代的‘梯度模拟器’。本文以2层前馈网络为例,全程使用SUMPRODUCT、OFFSET等原生函数,手把手推导sigmoid激活、Xavier初始化、逐细胞误差反传与手动

548

机器学习基石-Regularization

大纲Regularized Hypothesis Set1 Regularization 我们做regularization的目的就是从高维的假设空间倒退回低维的假设空间 2 Stepping Back as Constraint我们从高维到低维倒退,可以将高阶部分的权重置为0,这样相当于在原假设的基础上加上了约束3 Regression with Looser Constraint刚刚我们讨论的限

格物致知 545

PET,CT图像融合笔记

PET-CT怎样进行图像融合?图像融合实现CT与PET图像的融合 OpenCV实现(附实验结果)

chenran187906的博客 8416

【机器学习基础】假设空间 VS 版本空间

在机器学习中,有两个知识点比较重要,分别是假设空间(hypothesis space)和版本空间(version space)。 本文借用周志华《机器学习》一书中的实例向大家介绍这两个概念。 文章目录数据集介绍假设空间版本空间 数据集介绍 假设我们的任务要判断一个西瓜是“好瓜”,还是“坏瓜”——一个二分类问题。 同时,西瓜包含以下三个属性: 色泽:青绿、浅白、乌黑。 根蒂:蜷缩、硬挺。 敲声:清脆、沉闷。 假设西瓜数据集如下,给定了四条样本,要求判断是否是好瓜。 假设空间 我们可以把学习过程看作一个在

杨小浩浩的博客 3627

Vivado时序违例debug

显示了数据路径延迟。例如,对于违例路径,若布线延迟超过50%,说明该延迟是导致时序不能收敛的主要因素,因此可围绕降低布线延迟这一靶心达到时序收敛。对于跨时钟域路径,Requirement数值会有所变化,但如果数值为0.1,显然是不合理的。目的时钟路径单元,时钟从adc0_bufg/O输出,到达PLLE4_ADV,经过BUFGCE输出,最终到达SRLC32E移位寄存器,对应。源时钟路径单元,时钟从adc0_bufg/O输出,到达PLLE4_ADV,经过BUFGCE输出,最终到达FDRE触发器,对应。

weixin_44513618的博客 1622

Android无线调试:adb tcpip连接实战指南

本文详细介绍了Android无线调试的完整流程,重点讲解如何使用adb tcpip命令通过Wi-Fi连接设备,摆脱数据线束缚。涵盖环境配置、连接实战、稳定性优化及常见问题排查,帮助开发者高效实现无线adb调试,提升工作效率。

pink的博客 724

机器学习基石 Lecture14: Regularization

机器学习基石 Lecture14: RegularizationRegularized Hypothesis SetWeight Decay RegularizationRegularization and VC TheoryGeneral Regularizers Regularized Hypothesis Set 今天要讲的是正则化的技术。之前的ppt中有一个经典的使用高次函数导致过拟合的例...

无所知的博客 382

DAGGER vs 传统模仿学习:为什么数据聚合能提升模型性能?

本文深入对比了DAGGER与传统模仿学习,揭示了传统方法因“分布不匹配”导致性能下降的根源。DAGGER通过动态的**数据聚合**机制,在智能体自身策略产生的状态分布上收集专家数据,从根本上解决了误差累积问题,从而显著提升了模型在实际部署中的鲁棒性和性能。

weixin_29170327的博客 235

Lecture 14 :Regularization

Lecture 14 :Regularization 【参考】https://redstonewill.com/252/ 【概括】 本节课主要介绍了Regularization。 首先,原来的hypothesis set加上一些限制条件,就成了Regularized Hypothesis Set。 加上限制条件之后,我们就可以把问题转化为Eaug最小化问题,即把w的平方加进去。 这种过程,实际上回降低VC Dimension。 最后,介绍regularization是通用的机器学习工具,设计方法通常包括t

weixin_43860935的博客 217

哈工大OS实验四——进程运行轨迹的跟踪与统计

进程运行轨迹的跟踪与统计 进程从创建(Linux 下调用 fork())到结束的整个过程就是进程的生命期,进程在其生命期中的运行轨迹实际上就表现为进程状态的多次切换,如进程创建以后会成为就绪态;当该进程被调度以后会切换到运行态;在运行的过程中如果启动了一个文件读写操作,操作系统会将该进程切换到阻塞态(等待态)从而让出 CPU;当文件读写完毕以后,操作系统会在将其切换成就绪态,等待进程调度算法来调度该进程执行…… process.c解读 void cpuio_bound(int last, int cpu_

优快云-ych 1003

电流舵DAC设计(一)

如果分辨率继续增加,温度计码译码逻辑成为面积的主要决定因素,数字版图面积增加,总的面积消耗成上升趋势。缺点是:对于高分辨率的 DAC,高位码元和低位码元权重相差很大,当输入码元转换时(以 8 位二进制型 DAC 为例)尤其是中码转换(从 01111111 转换到 10000000),因为此时电流源的选通动作并非理想情况下的绝对一致等因素,导致在极短的时间内,码元会从 01111111 跳转到 11111111 再跳到10000000,这个过程中所有开关都参与转换,会引起最大幅度的尖峰毛刺(glitch);

模拟芯片设计 2876

机器学习基石14-Regularization

注: 文章中所有的图片均来自台湾大学林轩田《机器学习基石》课程。 笔记原作者:红色石头 微信公众号:AI有道 上节课介绍了过拟合发生的原因:excessive power, stochastic/deterministic noise 和limited data。并介绍了解决overfitting的简单方法。本节课,我们将介绍解决overfitting的另一种非常重要的方法:Regularizat...

weixin_30399821的博客 207

性能优化-高通cDSP(QDSP6)架构详解

高通cDSP开发的商业价值30秒快速认识高通cDSP开发的商业价值【高通cDSP旨在处理一些简单但需要大量计算的场景,如图像处理、科学计算、AI训练、计算机视觉等。这些场景使用CPU来运算会极大的降低CPU的吞吐量,因此利用现代寄存器较宽的特性设计出了适配数据并行的DSP芯片,cDSP就是典型的代表。利用cDSP+CPU既可以满足一般的使用场景,也可以完成现代图像和视频数据的处理。

发狂的小花的博客 5949

机器学习基石笔记-Lecture 14 Regularization

正则化的思想,引入的方式:想改善高阶假设空间overfitting的状况,从高阶退回低阶,即限制w的某些维度使之为零。 通过放宽限制和使用软约束(softer constraint),问题改写成: 那如何求解右边的有约束最优化问题呢? 首先把Ein写成矩阵形式 如果没有约束,最优解就是linear regression的解,有约束后,w只能在红色的圆圈...

weixin_30788731的博客 127

四足狗机器人硬件开发技术栈详解

本文系统介绍了四足狗机器人的硬件开发技术,重点分析了五大核心模块:机械结构(骨架设计)、动力系统(关节驱动)、感知系统(环境监测)、控制系统(决策中枢)和电源系统(能源管理)。文章详细阐述了各模块的选型标准、技术要点和协同设计原则,提供了从需求定位到组装调试的完整开发流程,并针对常见问题给出解决方案。随着材料轻量化、模块标准化和AI集成化的发展趋势,四足机器人硬件将向更灵活、更智能的方向演进,为工业巡检、应急救援等场景提供更强大的移动平台支持。

start_up_go的博客 288

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

机器学习与模式识别 考点压缩 100%命中率

机器学习与模式识别 期末考点压缩 两天学完 力挽狂澜!

2301_80226956的博客 885

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

MachineLearning(Hsuan-Tien Lin)第十四讲

Regularization 今天主要讲regulation。(在Andrew的week3(下)也讲到了,可以比较下。) Regulation是解决overfit的办法。 上一讲说到如果对下图中的点做回归的时候,目标函数是个二次多项式,但是你用一个四次多项式来做,结果overfit。   我们开始不知道目标函数是二次,但是做出四次函数后,发现模型太复杂了,发生了overfit,这时就要想

DanaMeng的专栏 1052

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

High-Resolution Image Synthesis with Latent Diffusion Models 基于潜在扩散模型的高分辨率图像合成

Robin Rombach 1 * Andreas Blattmann1 * Dominik Lorenz 1 Patrick Esser ® Björn Ommer 1 1 Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany ° Runway ML慕尼黑路德维希-马克西米利安大学 & 德国海德堡大学 IWR ° Runway MLhttps://github.com/CompVis/latent-diff

u013250861的博客 140

台大机器学习基石 Lecture 13 - Hazard of Overfitting

本次Lecture主要介绍机器学习中很重要的问题:过拟合(overfitting),并且介绍了部分解决过拟合问题的方法。 What is Overfitting? 先通过一个例子来介绍bad generalization。 假设平面上有5个点,目标函数是2阶多项式: 如果hypothesis是二阶多项式加上一些小的noise的话,那么这5个点很靠近这个hypothesis,很小。 ...

ZayneHuang的博客 1128

台大机器学习基石 Lecture 9 - Linear Regression

这节课开始介绍一些常见算法,这次Lecture介绍了最常见的Linear Regression线性回归算法。 Linear Regression Problem 在Linear Regression模型下的hypothesis为,特征集为d维,加上常数项后就为d + 1维(所以注意i从0开始)。在线性回归中,误差的衡量常采用平方误差(squared error):,相关的记号已经在上一节课...

ZayneHuang的博客 502

台大机器学习基石 Lecture 6 - Theory of Generalization

这节课基于上节课与break point的关联,研究了的上界是否为多项式的问题,得到结论为多项式上界,并将其代入Hoeffding不等式,得到VC Bound,证明只要break point存在,机器学习就是可行的。 Restriction of Break Point 我们先看一下四个成长函数与break point的关系: 成长函数是一个hypothesis在N个数据点上可以产生...

ZayneHuang的博客 369

台大机器学习基石 Lecture 11 - Linear Models for Classification

这次Lecture总结比较了已经学习的三种模型优缺点,引入SGD来优化Logistic Regression,讲解了Multiclass Classification中的OVA和OVO方法。 Linear Models for Binary Classification 之前三种线性模型都是对样本特征x的加权运算,我们引入一个线性得分函数(linear scoring function)s...

ZayneHuang的博客 365

台大机器学习基石 Lecture 7 - The VC Dimension

本次Lecture主要介绍VC Dimension,从non-break point的角度来看之前break point对VC Bound的影响。最终得出结论要选择合适的来同时保证较小的和较低的模型复杂度。 Recap 通过上节课的证明,我们知道了有多项式上界,这是在的条件下的。我们又得到了VC Bound,这是在M无限的前提下的Hoeffding不等式,那么我们将代入VC Bound...

ZayneHuang的博客 360

台大机器学习基石 Lecture 8 - Noise and Error

本次Lecture主要讲了在存在Noise噪声的情况下,是否能够进行机器学习,VC Dimension是否还有作用,并且介绍了一些评价Model的Error度量方法,这是要根据实际问题来确定的。 Noise and Probablistic Target 数据集D存在噪声的情况下,是否还能学习呢? Noise主要来源于以下三种—— 由于人为因素,正类被误分为负类,或者负类被误分为正...

ZayneHuang的博客 344

台大机器学习基石 Lecture 16 - Three Learning Principles

本次Lecture介绍了机器学习中比较常用的三个“锦囊妙计”。 Occam's Razor 奥卡姆剃刀定律(Occam’s Razor),总结而言就是“如无必要,勿增实体”,要用尽可能简单且有好效果的方法来处理数据。 那么就有两个问题: 什么样的模型是“简单的”?简单的模型一方面指hypothesis比较简单,也就是模型的参数比较少;另一方面指模型的hypotheses有限不太多。这两者是...

ZayneHuang的博客 304
上一篇: 台大机器学习基石 Lecture 13 - Hazard of Overfitting
下一篇: 台大机器学习基石 Lecture 15 - Validation
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值