台大机器学习基石 Lecture 11 - Linear Models for Classification

CS231n计算机视觉课程:从零到精通的深度学习实践指南 如果你正在寻找一门真正能带你从零基础入门,并最终掌握计算机视觉核心能力的课程,那么斯坦福大学李飞飞教授主讲的CS231n《面向视觉识别的卷积神经网络》课程,几乎是你无法绕开的必学经典。但问题来了:这门课程内容庞大、涉及数学和编程基础,网上资料虽多却良莠不齐,一个新手该如何高效、系统地学习,并最终能动手实践,而不是仅仅停留在“看过”的层面? 更关键的是,网络上充斥着“斯坦福2026最新版李飞飞亲授”这类标题,容易让人产生误解。事实上,CS231n课程的核心公开视频版本定格在2017年,其理论基石(如卷积神经网 阅读详情

这次Lecture总结比较了已经学习的三种模型优缺点,引入SGD来优化Logistic Regression,讲解了Multiclass Classification中的OVA和OVO方法。

Linear Models for Binary Classification

之前三种线性模型都是对样本特征x的加权运算,我们引入一个线性得分函数(linear scoring function)s:s=w^Tx。

对比一下这三种模型:

  • Linear Classification:模型假设hypothesis的结果h(x)=sign(s)\in \{-1, +1\},采用0/1 error作为误差衡量,E_{in}是离散的,也就是除非输入x是线性可分的,该方程的最优解法是一个NP-hard问题,复杂度非常高。
  • Linear Regression:模型假设hypothesis的结果h(x)=s\in \mathbb{R},采用squared error作为误差衡量,E_{in}是一个开口向上的二次曲线,其解是closed-form的,可以通过一次矩阵运算求出。
  • Logistic Regression: 模型假设hypothesis的结果h(x)=\theta (s)\in(-1, +1),采用cross-entropy error作为误差衡量,E_{in}是平滑的“s”型凸曲线,可以使用梯度下降算法求解最小值。

那么我们能否将LinReg和LogReg两种模型进行调整,使其适用于Linear Regression的用途呢?如果可以的话,就能够大大减小二分分类的复杂度了。

我们看到,LinReg和LogReg输出都是一个实数,并且都有最小解。我们可以将三个模型作如下的调整,由于y\in \{-1,+1\},这三个式子的变换分别都是等价的。

其中,引入(ys)作为分类正确度得分(classification correctness score), 三个error function的值都与之相关,那么我们用图形来看具体关系(左图)。

引入Scaled Cross-Entropy Error Function(SCE)有 {\color{Orange}{\text{scaled}}}\text{ ce : err}_{​{\color{Orange}{s}}ce}({\color{Purple}{s}},{\color{Purple}{y}})={\color{Orange}{log_2}}(1+exp(-{\color{Purple}{ys}})),这样能使SCE一直在0/1的图线之上,仅作换底操作不会影响最优化的过程,但是能让LogReg的分类能力上接近Linear Classification,也就是让err_{sce}低的时候,err_{0/1}也低。(右图)

于是,我们能得到如下的三个性质:

  • err_{0/1}(s,y)\leq err_{SCE}(s,y)=\frac1{ln2}err_{CE}(s,y)
  • E_{in}^{0/1}(w)\leq E_{in}^{SCE}(w)=\frac1{ln2}E_{in}^{CE}(w)
  • E_{out}^{0/1}(w)\leq E_{out}^{SCE}(w)=\frac1{ln2}E_{out}^{CE}(w)

由VC理论可得

E_{out}^{0/1}(w)\leq E_{in}^{0/1}(w)+\Omega^{0/1}\leq \frac1{ln2}E_{in}^{CE}(w)+\Omega^{0/1}

E_{out}^{0/1}(w)\leq \frac1{ln2}E_{out}^{CE}(w)\leq \frac1{ln2}E_{in}^{CE}(w)+\frac1{ln2}\Omega^{CE}

从而我们就能够把 LinReg和LogReg 作为Linear Classification的上界,也就是如果使用err_{sqr}或err_{sce}来衡量一个模型分类分得好不好的时候,如果他们认为分得好,那么如果使用err_{0/1},它也会认为分得好。

以下是处理分类问题时,PLA、LinReg、LogReg三者的优缺点——

而由于LinReg训练速度快,又在较大\left | ys \right |下能得到宽松上界,所以常可以使用LinReg得到的w作为其他模型的w_0,这样可以加快其他模型的最优化速度。

同时,由于多数数据是线性不可分的,常使用LogReg而不是PLA+Pocket。

Stochastic Gradient Descent

之前介绍的PLA和LogReg两个算法,在求解最小值的时候都是通过迭代的方式。PLA每次迭代只要选取当前点,时间复杂度是O(1);LogReg则是每次迭代将N个点都计算一遍,时间复杂度是O(N)。那么随机梯度下降算法(Stochastic Gradient Descent)就是提高LogReg中Gradient Descent的速度的。

之前的内容中已经将过了LogReg的迭代方式

 可不可以不要这个先求和再取平均数的部分呢?随即选取一个点n,它对梯度的“贡献”为\color{Orange}{\triangledown _w err(w,x_n,y_n)},这就是随机梯度,而真实的梯度则可以认为是随机抽出一个点的梯度的期望\triangledown_w E_{in}(w) = \color{red}{\underset{random\,n}{\epsilon}}\color{Orange}{\triangledown_w err(w,x_n,y_n)}。
因此,可以把随机梯度当作是在真实梯度上加一个均值为0的noise:

{\color{Orange}{\text{stochastic gradient}} }={ \color{Blue}{\text{true gradient}} }+ \color{red}{\text{zero-mean 'noise' directions}}

从单次迭代上来看,好像确实会对每一步找到正确的梯度方向有影响,但是从整体期望值来看,与真实的梯度方向没有差太多,同样能找到差不多好的位置。

这种方法就是随机梯度下降,Stochastic Gradient Descent (SGD):

w_{t+1} \leftarrow w_t + \eta \underbrace{\color{Purple}{\theta(\color{black}{-y_nw_t^Tx_n}})\color{Orange}{(y_nx_n)}}_{-\color{blue}{\triangledown_{err}(w_t,x_n,y_n)}}

SGD算法有以下优缺点

  • 优点:复杂度大大减小,支持大数据计算;由于按点来迭代,就支持在线学习(online learning)。
  • 缺点:在noise比较大的时候,会较不稳定。

我们看到SGD logistic regression和PLA有非常相似的地方,都是对当前的x_n与y_n进行修正,可把SGD logistic regression称之为’soft’ PLA。另外,当\eta=1且w_t^Tx_n足够大的时候,PLA近似于SGD。

关于SGD算法林老师有两点经验(rule-of-thumb):

  • SGD的终止迭代条件一般是让迭代次数足够多;
  • 更新速度\eta是根据实际情况来决定的,一般\eta=0.1就可以了。

Multiclass via Logistic Regression

之后两节讲的是多分类(Multiclass)的情况。假设平面上有四个类(正方形、菱形、三角形、星形),如何进行分类模型训练呢?

容易想到的就是,一次分出一个类,然后将四个类依次进行这个操作(如上图下侧的四幅图),最后合起来我们就能够得到一个分类的图(如上图上侧的右图)。但这么做有一个问题就在于会有交叉和空白的区域,这部分区域如何来进行分类呢?显然简单的binary classification就不能解决。

这时候就可以采用LogReg这样的‘soft’ classification,只要让各个分类器都输出是否为自己类别的概率值,然后选择概率值最高的那个分类器所对应的类别,作为最终的输出就可以。结果图类似下面。

这种多分类的处理方式,我们称之为One-Versus-All(OVA) Decomposition。

  • 优点是简单高效,并且可以和Logistic Regression的方法搭配使用;
  • 缺点是当数据类别K很大时,那么二分的正类和负类的数量差别就很大,数据不平衡unbalance,这样就不容易得出正确结果。
  • 另外,在选取某一类概率最大时,所有类别的概率之和不一定为1,虽然实际中影响不大,但统计上有更加严谨的方法——multinomial logistic regression。有兴趣可以看一下WikiPedia的解释。

Multiclass via Binary Classification

对于上面OVA的K较大unbalanced的问题,可以将K个类别两两进行比较,一共只要进行C_k^2次binary classification就可以完成训练,在进行判断的时候只要像单循环赛一样,取得分高的那一个分类。k = 4,就像在下图中只要在6个分类器中选出符合最多的那个就可以。

 这种区别于OVA的多分类方法叫做One-Versus-One(OVO)。

  • 优点是更加高效,因为虽然需要进行的分类次数增加了,但是每次只需要进行两个类别的比较,也就是说单次分类的数量减少了;而且一般不会出现数据unbalanced的情况,比较稳定;可以和任何的binary classification方法搭配使用。
  • 缺点是分类次数增加到C_k^2,时间复杂度和空间复杂度可能都比较高。

总之,OVA和OVO是两个多类别分类方法,都是非常不错的多类别分类算法,在k不大的时候比较推荐OVO,减少分类次数。

 

lin-reg:线性回归-C 线性回归 线性最小二乘法的纯C实现,用于使用派生的法线方程式进行回归分析以获得最佳权重。 这部分基于2017年爱丁堡大学采用的模块。该代码当前未经过优化,因此不应在生产中使用,但它将在执行过程中输出所有转换。 编译: gcc -o lreg lreg.c -lm 立即下载

相关推荐

linreg-开源

编辑Windows注册表的工具。

线性回归算法从0开始的实现

通过对初始值的迭代,按学习率沿梯度方向逐步求最优值。

weixin_43786637的博客 1014

告别裸奔MCU!手把手教你用MCP2515+STM32搭建稳定CAN总线通信(附完整代码)

本文详细介绍了如何使用MCP2515与STM32搭建稳定可靠的CAN总线通信系统,适用于汽车电子和工业控制领域。通过硬件架构设计、驱动层实现、数据收发实战及故障排查手册,帮助开发者快速掌握CAN通信技术,提升系统稳定性和开发效率。

weixin_28703489的博客 211

线性回归

使用线性回归预测波士顿房价 载入数据集 import numpy as np from sklearn import datasets from sklearn import metrics from sklearn import model_selection as modsel from sklearn import linear_model import matplotlib.pyplot ...

BrightTaoist的博客 451

动态库加载失败终极指南:从libbz2.so.1错误看Linux依赖管理本质

本文以经典的libbz2.so.1加载错误为例,深入剖析Linux动态链接库管理的核心机制。文章不仅提供从ldd检查、符号链接创建到LD_LIBRARY_PATH设置等实战解决方案,更系统性地讲解了动态链接器的寻库路径、版本管理及依赖问题预防策略,帮助开发者从根本上理解和掌握Linux依赖管理本质。

weixin_29212429的博客 450

别光看教程了!手把手带你用STM32F103C8T6最小系统板点亮第一个LED(附完整电路图)

本文详细介绍了如何使用STM32F103C8T6最小系统板点亮第一个LED,从硬件连接到软件开发环境搭建,再到编写和下载程序,手把手教你完成STM32入门的第一步。适合初学者快速上手STM32开发,附完整电路图和代码示例。

weixin_28678831的博客 196

线性回归算法梳理

任务1 - 线性回归算法梳理 1. 机器学习的一些概念 监督学习 监督:数据集包含标签,即数据集包括特征和标签 监督学习:用有标签的数据集进行推断/建模的机器学习。例如分类、回归。 常用算法: 支持向量机(Support Vector Machines) 线性回归(linear regression) 逻辑回归(logistic regression) 朴素贝叶斯(naive Bayes) 线性判...

博客行 596

如何评价智能座舱的好坏之指标拆分?

智慧服务实际上是有一些比较实用的功能的,常用的有后视镜自动伸展、离车自动落锁、座椅记忆等,但这部分前装率较高,各家的区分度不高,所以一级指标中占比最低(10%)。不过呢,规则里的权重仅有5%,或许是考虑到比较成熟,没有区分度。全景环视明显拔得头筹,占比85%,这对于我这种没有倒车影像不敢倒车的人,举双手赞成,但还是要看其效果,比如,现在,测评规则的颁布实际上也让我们看到,智能座舱的技术方案正走向成熟,并将走进规范化运作。,占比 60%,这与我们对座舱最直接的认知符合,

shuiqingyan的博客 1085

线性回归-从零开始

文章目录1. 线性回归 1. 线性回归 我们从零开始写线性回归,虽然现在的框架,比如 pytorch 都已经帮助我们自动完成了,但为了我们以后能学习的更加深入,我们可以尝试从零开始写线性回归,思路如下: 训练数据集的收集(synthetic_data) 定义网络线性回归(linreg) 定义损失函数(squared_loss) 参数更新器小批量随机梯度下降(sgd) ...

scar2016的博客 866

【Frida Android】实战篇4:SSL Pinning 证书绑定绕过 Hook 教程(一)

在前两章中,我们学习了中间人抓包与 Hook 抓包的基础方法,这些方法在理想环境下能够有效获取网络请求数据。但在实际的企业级应用中,出于安全防护需求,很多 APP 会启用证书绑定(SSL Pinning)机制。这种机制会让客户端对服务器证书的校验更为严格,导致常规的抓包方法(即使将 BurpSuite/Charles 证书安装到系统信任区)也无法生效。因此,从本章开始,我们将系统学习 SSL Pinning 机制的绕过技术。SSL Pinning(证书绑定)是客户端校验服务器身份的进阶安全机制。

水滴石穿 1612

SSE(Server-Sent Events)完整使用示例

本篇使用Node.js 作为服务端,在浏览器客户端演示SSE的完整实例和演示。实现了一个基于 Server-Sent Events (SSE) 的实时数据推送功能。

oscar999的专栏 752

深度学习 —— 个人学习笔记2(LinReg_cuda)

本文章为个人学习使用,版面观感若有不适请谅解,文中知识仅代表个人观点,若出现错误,欢迎各位批评指正。文中部分知识参考:B 站 —— 跟李沐学AI;

Springer的博客 379

厉害了,华为推出下一代光传送网:fgOTN

2024年10月,在全球信息技术博览会(GITEX Global 2024)上,华为正式发布了其颠覆性的创新产品——端到端细粒度光传送网(fgOTN)解决方案。这一产品组合被誉为行业内首个fgOTN,旨在重塑光传送网络的格局,满足电力运输等行业日益增长的通信需求。在过去的近三十年中,同步数字体系(SDH)技术一直是电信和工业网络的支柱,因其可靠性、稳定性和低延迟而备受青睐。然而,随着数据需求的激增,SDH的最大带宽仅为10 Gbps,逐渐显露出局限性。

网络技术联盟站 637

机器学习基石 Lecture11: Linear Models for Classification

机器学习基石 Lecture11: Linear Models for ClassificationLinear Models for Binary ClassificationStochastic Gradient DescentMulticlass via Logistic RegressionMulticlass via Binary Classification Linear Models...

无所知的博客 466

【反蒸馏实战 00】AI抢不走的工作:一份针对30个“高危”职位的“反取代”实战手册(反蒸馏计划启动)

AI时代职场生存指南:30个技术岗位的“反蒸馏”实战策略 随着AI技术快速发展,职场正面临前所未有的结构性重构。本系列专栏聚焦30个技术岗位,深入分析AI对各职位的影响路径,并提供系统性的"反蒸馏"策略。通过5层分析框架(AI冲击现状、核心价值解构、AI天花板、能力升级路径、人机协作模式),帮助从业者识别可替代任务与核心价值,建立不可替代的专业优势。内容涵盖IT开发、数据分析、产品管理等技术领域,为职场人提供从“被AI替代”到“与AI协同”的转型路线图,守护职业价值。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1657

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

林轩田机器学习基石Lecture 11: Linear Models for Classification

@Lecture 11: Linear Models for Classifification 从之前学过的模型出发,看一下这些模型怎么来做复杂的分类问题 Linear Models for Binary Classifification 回顾一下线性模型都使用到了线性得分函数s =wx 三种模型的总结分析:如果他们之间和相似的话,那能不能用回归模型来帮助线性分类(因为linear classif...

qq_42580910的博客 306

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

High-Resolution Image Synthesis with Latent Diffusion Models 基于潜在扩散模型的高分辨率图像合成

Robin Rombach 1 * Andreas Blattmann1 * Dominik Lorenz 1 Patrick Esser ® Björn Ommer 1 1 Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany ° Runway ML慕尼黑路德维希-马克西米利安大学 & 德国海德堡大学 IWR ° Runway MLhttps://github.com/CompVis/latent-diff

u013250861的博客 140

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

【零门槛免费】多屏拼接控制一次讲清:矩阵信号切换5步完整指南

如果你要管理一套多屏显示系统,手边需要一款大屏液晶拼接控制软件。Wall Control V6.1 运行在 Windows 上,通过拖拉和点击的方式,就能在电脑端完成多路信号源之间的矩阵信号切换。 ## 什么场景需要它 - 🎯 当你的会议室里挂着一面六屏拼接墙,摄像头、电脑和视频会议要轮流上大屏时,你需要的是一套能全部在电脑上切掉的液晶拼接屏操作工具。 - 如果你需要按场次调度展厅多屏系统的

gitblog_00574的博客 225

Causal-JEPA的论文理解11——附录E、F、G

问题1问题2回到原文。

shimingwang的博客 186

python机器学习(二)线性回归

一 线性回归原理这部分相对来说比较简单,不理解的可以参考:http://blog.youkuaiyun.com/xuxiatian/article/details/55002412二 代码实现1.简单的实现根据公式:import numpy as npimport matplotlib.pyplot as plt def firstLR(x,y):    n=len(x)    dinominator=0  ...

wojiaodabai的博客 897

Dive-into-DL-Pytorch 3.3节pytorch实现linreg 读书笔记

一、写在前面 本文是《Dive-into-Deep-Learning》一书中文Pytorch版本的3.3节线性回归Pytorch实现读书笔记。笔记仅作个人备忘与记录。 二、定义模型 在上一节从零开始的实现中,我们需要定义模型参数,并使用它们一步步描述模型是怎样计算的。当模型结构变得更复杂时,这些步骤将变得更繁琐。其实,PyTorch提供了大量预定义的层,这使我们只需关注使用哪些层来构造模型。下面将介绍如何使用PyTorch更简洁地定义线性回归。 首先,导入torch.nn模块。实际上,“nn”是neural

weixin_47675950的博客 706

python机器学习学习笔记(三)

python机器学习:线性回归 LinearRegression();python绘图matplotlib回归趋势线

weixin_46753186的博客 1371

第5章【思考与练习1】 延续回归模型的性能评估,计算使用全部数据学习得到的回归模型linreg在测试集上的性能。从例5-2训练集中取出前100条、200条样本,学习得到回归模型,并在测试集上预测分析

第5章 | 机器学习建模分析。P96思考与练习1。 1. 延续回归模型的性能评估,计算使用全部数据学习得到的回归模型linreg在测试集上的性能,与只使用训练集的模型linregTr进行比较,并对结果进行分析。 2.从例5-1中取出前100条样本,学习回归模型linregHalf;在练习1的测试集上计算该模型预测性能,并与使用200条样本学习的模型比较。

m0_51474486的博客 8495

python回归分析相关代码-散点图,回归,预测

from sklearn.linear_model import LinearRegression import matplotlib.pyplot as plt from sklearn import metrics import numpy as np #1 #(1) x = [[5.1], [3.5], [7.1], [6.2], [8.8], [7.8], [4.5], [5.6]

云金杞 7371

回归算法(python code)----------机器学习系列(一)

回归算法---code

河南骏的博客 6981

Python实现机器学习二(实现多元线性回归)

接着上一次的一元线性回归http://blog.youkuaiyun.com/lulei1217/article/details/49385531往下讲,这篇文章要讲解的多元线性回归。 1、什么是多元线性回归模型? 当y值的影响因素不唯一时,采用多元线性回归模型。 y =y=β0+β1x1+β2x2+...+βnxn 例如商品的销售额可能不电视广告投入,收音机广告

XXiaoLEI的专栏 6万+
上一篇: 台大机器学习基石 Lecture 10 - Logistic Regression
下一篇: 台大机器学习基石 Lecture 12 - Nonlinear Transformation
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值