台大机器学习基石 Lecture 10 - Logistic Regression

斯坦福CS229机器学习笔记-Lecture3 局部加权线性回归和 logistic regression 声明:此系列博文根据斯坦福CS229课程,吴恩达主讲 所写,为本人自学笔记,写成博客分享出来          博文中部分图片和公式都来源于CS229官方notes。          CS229的视频和讲义均为互联网公开资源Lecture3Lecture3的主要内容· Locally weighted linear regression(局部加权线性回归)· Probabilistic inte... 阅读详情

这次Lecture讲的是另一种回归方法——逻辑回归(Logistic Regression),虽然说的是回归问题,但它其实是一个‘软’分类,本次课介绍了逻辑回归的方法、错误衡量方法、求解最优的方法。

Logistic Regression Problem

之前提过的二元分类器如PLA,其目标函数为,f(x)=sign(w^Tx)\in \{-1,+1\},是一个“硬”的分类器。而Logistic Regression的输出是y = +1的概率,因此Logistic Regression的目标函数是{\color{Purple}{f}}(x)={\color{Orange}{P(+1|x)}}\in [0,1],是一个“软”的分类器。

然而,我们在实际的情景中只能得到确定的结果,而并不会得到概率,那么我们就可以将实际的数据视作理想数据加上了噪声的影响。

 接下来的问题是,我们该怎么设计hypothesis与目标函数接近呢?

先抛出结论h(x) = \theta (w^T x) =\frac{1}{1+exp(-w^Tx)},那么为什么是这样呢?

将d个特征加权求和,结合thershold后就是d + 1项,即{\color{Purple}{s}} =\sum_{i={\color{Red}{0}}}^d{\color{Orange}{w_i}}{x_i}=w^Tx,但是{\color{Purple}s}\in [-\infty ,+\infty],要将其转换到[0,1]范围,就使用Logistic Function {\color{blue}\theta }:{\color{Blue}{\theta}} ( {\color{Purple}{s}}) = \frac{e^{\color{Purple}{s}}}{1+e^{\color{Purple}{s}}} = \frac{1}{1+e^{-\color{Purple}{s}}},满足平滑、单调、有界。

经过Sigmoid处理后就有h(x) = \theta (w^T x) =\frac{1}{1+exp(-w^Tx)}来近似Target Function{​{f}}(x)={​{P(y|x)}}。

Logistic Regression Error

现在我们找到了hypothesis的表达形式,我们该怎么衡量错误得到E_{in}呢?

为什么不能像Linear Regression一样使用平方误差,这篇博文说得很详细,摘引如下:

如果使用平方误差,每个点产生的误差是:

此时cost function,E_{in}(w)=\sum err就是一个关于w的非凸函数(non-convex):

  非凸函数由于存在很多个局部最小点,因此很难去做最优化(解全局最小)。所以Logistic Regression没有使用平方误差来定义error,而是使用极大似然法来估计模型的参数。

先介绍一下“似然性”的概念。如果我们找到了hypothesis很接近target function。也就是说,在所有的Hypothesis Set中找到一个hypothesis与target function最接近,能产生同样的数据集D,包含y输出label,则称这个hypothesis是最大似然likelihood。那么这里采用的办法就是MLE(Maximum Likelihood Estimate)极大似然估计。

那么target function就有如下的转换

那么h产生一个D的likelihood是多少呢?

 如果{\color{Orange}{h}}\approx{\color{Purple}{f}},就有likelihood({\color{Orange}{h}})\approx \text{probability using }{\color{Purple}{f}},并且我们认为在\color{Purple}{f}的作用下,能产生D的可能性是比较大的。

于是有:

\text{if } {\color{Orange}{h}}\approx{\color{Purple}{f}}\text{, then }\; likelihood({\color{Orange}{h}})\approx(\text{probability using }{\color{Purple}{f}})\approx{\color{Purple}{\text{large}}}

 

理想的hypothesis就是能使得似然函数最大的那个{\color{Orange}{h}}

g=\underset{​{\color{Orange}{h}}}{argmax}\;likelihood({\color{Orange}{h}})

由于logistic function的中心对称性:1-h(x)=h(-x),就有

 而P(x_i)都为常值,就有likelihood(logistic\;{\color{Orange}{h}})\propto \prod_{n=1}^{N}{\color{Orange}{h}}(y_nx_n)

而我们要找到一个似然性最大的,并且转化为关于w的式子,而求连乘不易于求解,取自然对数就可以转化为连加——

求解以上最大值等价于求解最小值

\underset{​{\color{Orange}w}}{min}\;{\frac{1}{N}}\sum_{n=1}^{N} - ln\,\theta(y_n{\color{Orange}{w}}^Tx_n)\Rightarrow \underset{​{\color{Orange}{w}}}{min}\;\frac{1}{N}\sum_{n=1}^{N}ln(1+exp(-y_n{\color{Orange}{w}}^Tx_n))

其中,err({\color{Orange}{w}},x_n,y_n)=ln(1+exp(-y_n{\color{Orange}{w^T}}x_n))称为cross-entropy error。

Gradient of Logistic Regression Error

根据上面的推导,我们可以确定cost function E_{in}({\color{Orange}{w}}) = \frac{1}{N} \sum_{n=1}^{N} ln(1+exp(-y_n{\color{Orange}{w}}^Tx_n))。

这是连续、可微、二次可微的凸曲线(开口向上),图像如下

由于它是凸函数,如果我们能解出一阶微分(梯度)为0的点,就可以通过找到这个点来找出最小的E_{in}({\color{Orange}{w}}),只要求解\triangledown E_{in}({\color{Orange}{w}})=0。

于是就有\triangledown E_{in}(w)=\frac{1}{N}\sum_{n=1}^{N}{\color{Purple}\theta}(-y_nw^Tx_n){\color{Orange}{(-y_nx_n)}},为什么这样不能求解最小呢?这篇redstone的博文作出了解释——

那么该使用何种方法实现E_{in}({\color{Orange}{w}})最小化呢?

Gradient Descent

采用类似PLA中的迭代方法来求解最小值,称为梯度下降法(Gradient Descent)

其中,\color{Red}\eta表示步长(step size),\color{Blue}v是单位向量,表示方向(direction)。

于是在给定{\color{Red}\eta} > 0下,贪心逼近最小值,\underset{\left \| {\color{Blue}v} \right \| = 1}{min} \; E_{in}(w_t + {\color{Red}\eta }{\color{Blue}v})。但是依照这样的式子仍然是非线性的,所以采用泰勒一阶展开(Taylor expansion)得到——

E_{in}(w_t+{\color{Orange}\eta}{\color{Purple}v}) \approx E_{in}(w_t)+{\color{Orange}\eta} {\color{Purple}v}^T \triangledown E_{in}(w_t)

那么我们如何来选择\color{Red}\eta和\color{Blue}v呢?

  • \color{Blue}v比较方便,让其成为\triangledown E_{in}(w_t)的反方向单位向量,就能保证E_{in}(w_t+{\color{Orange}\eta}{\color{Purple}v})<E_{in}(w_t)成立,E_{in}({\color{Orange}{w}})是不断减小的。

{\color{blue}{v}}=-\frac{\triangledown E_{in}(w_t)}{||\triangledown E_{in}(w_t)||}

  • \color{Red}\eta要慎重选择,太小的话速度太慢,太大的话又很不稳定。

 一个比较好的方法就是让{\color{Red}\eta} \propto {||\triangledown E_{in}(w_t)||},随着迭代会更改\color{Red}\eta

新的紫色的\color{Purple}\eta就称为混合学习率(fixed learning rate)。

综合起来,Logistic Regression算法就是以下流程——

 

台大 林轩田 机器学习技法 课堂ppt 全 台大 林轩田老师公开课机器学习技法的课堂ppt,2积分方便大家下载 立即下载

相关推荐

激光测距仪DIY指南:从元器件选型到精度优化(附避坑清单)

本文提供了一份详尽的激光测距仪DIY实战指南,涵盖从核心元器件选型到系统集成的全过程。重点解析了相位法测距原理,并分享了激光发射器与APD探测器选型、信号链路设计、低成本改造方案以及精度校准等关键环节的避坑经验,帮助电子爱好者与开发者深入理解并成功搭建高精度测距系统。

h6i7j8的博客 945

10-2- Logistic Regression Error

10-2- Logistic Regression Error我们现在开始讲 Logistic Regression ,跟我们之前学过的 Linear Regression 和 Linear Classification 稍微做个对照。共同的事情是什么?大家都要用 wTXw^{T}_{}X 计算一个分数,算了分数以后做什么?Linear Classification 取这个分数是大于 0 ,还是小于

一蓑烟雨任平生的专栏 971

大模型学习路线之多模态模型

​ (Frankly speaking,博主太懒了)章节一只对CLIP、BLIP、BLIP2、InstructBLIP进行了整理,章节二以CLIP、VisualGLM作为实践案例。​ 实际上多模态模型除了CLIP、BLIP、BLIP2、InstructBLIP,还有LLaVA、miniGPT4,以及国内清华的VisualGLM、阿里的Qwen-VL等。(更多多模态原理可以看文末的参考说明)一、多模态模型 & 理论。

2401_86435672的博客 2294

个人机器学习路径规划

第一阶段:机器学习入门1、小象学院机器学习视频24课—中科院邹博2、网易公开课斯坦福机器学习视频20课—吴恩达http://open.163.com/special/opencourse/machinelearning.html CS229课程讲义 北航张雨石优快云博客,http://blog.youkuaiyun.com/column/details/ml-ng-record.html 海大黄海广博士笔记,

城市幽灵 5925

Spark数据倾斜问题+解决方案

1、数据倾斜 数据倾斜指的是,并行处理的数据集中,某一部分(如Spark或Kafka的一个Partition)的数据显著多于 其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈 数据倾斜俩大直接致命后果 1)数据倾斜直接会导致一种情况:Out Of Memory 2)运行速度慢 主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数 据量太大了。远远超过其他Task所处理的数据量 一个经验结论是:一般情况下,OOM的原因都是数据倾斜 2、如

诸葛搏毅 6772

CGAL-5.6的安装与编译(Win10+vs2022+CGAL-5.6+Boost1.82.0)

CGAL是Computational Geometry Algorithms Library(计算几何算法库)的缩写,C++的高效算法库。CGAL只是一个头文件库(从5.0版本开始),这意味着CGAL无需编译,只需安装好CGAL的依赖项即可。CGAL5.6。

baidu_34931359的博客 3903

林轩田《机器学习基石》资源汇总(视频+学习笔记+书)

来源 | AI有道(公众号ID:redstonewill)▌课程介绍台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面,基本涵盖了机器学习领域的很多方面。其作为机...

优快云 人工智能 2万+

Anaconda安装及配置+pytorch深度学习环境(2024复旦计算机工作站0705)

Pytorch是torch的python版本,是由Facebook开源的神经网络框架,专门针对 GPU 加速的深度神经网络(DNN)编程。Torch 是一个经典的对多维矩阵数据进行操作的张量(tensor )库,在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同,Pytorch的计算图是动态的,可以根据计算需要实时改变计算图。但由于Torch语言采用 Lua,导致在国内一直很小众,并逐渐被支持 Python 的 Tensorflow 抢走用户。

ZhiYilang的博客 2349

《机器学习基石》作业一

已入机器学习坑,下决心走下去。《统计学习方法》一书介绍了十种算法,不算太难,但仍需重读以仔细研究其中的推导。《机器学习实战》一书则给出了各种算法的具体实例,Python实现,适合入门者了解算法的具体应用。另在Cousera上选了两门课:斯坦福Andrew Ng的《Machine Learning》、台大林田轩的《机器学习基石》和《机器学习技法》。Andrew的课程简单,省去了很多的数学推导和证明,但

Marcovaldong的博客 5486

Ubuntu 22.04下Nvidia显卡驱动安装全攻略:从PPA源到避坑指南

本文详细介绍了在Ubuntu 22.04系统下安装Nvidia显卡驱动的完整流程,包括PPA源的使用、旧驱动清理、安装后验证及常见问题解决方案。特别针对机器学习开发者和图形设计师,提供了从基础安装到性能调优的全方位指南,帮助用户避免常见安装陷阱并优化GPU性能。

weixin_29213655的博客 382

别再只会画方块了!Cesium 1.62 实战:用 Polygon、Ellipse 和 PolylineVolume 玩转复杂地理围栏与3D管道

本文深入探讨了Cesium 1.62在复杂地理围栏与3D管道开发中的高级应用,通过Polygon、Ellipse和PolylineVolume等API实现不规则禁飞区建模、椭圆围栏设计及地下管线可视化。文章结合实战代码,详细解析了性能优化技巧和工程实践,帮助开发者突破基础图形绘制局限,构建真实业务场景中的三维空间系统。

weixin_26763955的博客 108

林轩田机器学习基石Lecture 10: Logistic Regression

@Lecture 10: Logistic Regression Logistic Regression Problem 对比二元分类问题,感兴趣的不是一个事件是否发生,而是一个事情发生的概率是多少 理想情况下,要想知道一个事情发生的概率是多少,需要样本中y的值是发生 Logistic Regression Error Gradient of Logistic Regression Error G...

qq_42580910的博客 281

SV--对象拷贝、参数化的类

对象拷贝,参数化的类

创芯人--fly的博客 1571

台大机器学习基石 Lecture 11 - Linear Models for Classification

这次Lecture总结比较了已经学习的三种模型优缺点,引入SGD来优化Logistic Regression,讲解了Multiclass Classification中的OVA和OVO方法。 Linear Models for Binary Classification 之前三种线性模型都是对样本特征x的加权运算,我们引入一个线性得分函数(linear scoring function)s...

ZayneHuang的博客 365

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

[机器学习]Lecture 1:Regression,Pokemon classification,Logistic Regression

目录 Regression Pokemon classification How to do Classfication Logistic Regression Regression Step 1: Model Step 2: Goodness of Function Step3: Best Function 这一节主要讲了一个宝可梦的实例,没有较多的理论知识。Gradient Descent部分和前面笔记的内容一致。 Pokemon classification

zzz_qing的博客 338

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

机器学习基石 Lecture10: Logistic Regression

机器学习基石Lecture10: Logistic RegressionLogistic Regression ProblemLogistic Regression ErrorGradient of Logistic Regression ErrorGradient Descent Logistic Regression Problem 假如现在需要预测一个心脏病是否发作的问题,那么这个问题理想的...

无所知的博客 304

机器学习基石笔记-Lecture 10 Logistic regression

soft binary classification的概念:软二分类,不直接化为-1、1,而是给出一个概率值。 目标函数是一个概率值,但是拿到的data中y只有0、1(或者-1、1),可以看做是有noise的data。 logistic hypothesis 通过 theta 转化为 0、1间的数。 目标函数f(x)其实呢就是,那么 那么对N个样本,产生的概率...

weixin_30633949的博客 129

机器学习技法 Lecture5: Kernel Logistic Regression

机器学习技法 Lecture5: Kernel Logistic Regression1. Soft-Margin SVM as Regularized Model2. SVM versus Logistic Regression3. SVM for Soft Binary Classification4. Kernel Logistic Regression 1. Soft-Margin SVM...

无所知的博客 367

Lecture6 逻辑斯蒂回归(Logistic Regression)

《Pytorch》刘二大人笔记

Curz酥的博客 1559

ML Lecture5: Logistic Regression

Why not Square Error? Cross Entropy. 转载于:https://www.cnblogs.com/hsuppr/p/11176021.html

weixin_30762087的博客 114

Stanford ML - Lecture 3 - Logistic regression

1. Classification2. Hypothesis RepresentationLogistic Regression Model the above function is called sigmoid function or logistic functionInterpretation of Hypothesis outputestimated probability tha

D. Qiu的专栏 1451

lhy机器学习(二): ML Lecture 5 Logistic Regression(逻辑回归)(一)

ML Lecture 5 Logistic Regression(逻辑回归)(一) 1.逻辑回归模型 我们看到逻辑回归公式如下 代表样本x属于C1的概率,利用极大似然估计做出损失函数L(w,b),L(w,b)取ln然后取-号,其实就是使L(w,b)最大转换为使-ln(L(w,b))最小。 上图推导就是为了说明交叉熵与我们的L(w,b)的关系,于是我们的损失函数...

wzn19930319的博客 287

lhy机器学习(二): ML Lecture 5 Logistic Regression(逻辑回归)(二)

1.对比判别模型(逻辑回归)和生成模型(有多元高斯分布假设前提的贝叶斯) 虽然两种模型的公式一样,但是由于判别模型没有假设前提,而生成模型有假设前提,两种模型求出的w和b的值是不一样的!,这里就记住他们虽然公式一样,但是两种模型求出的w和b不一样就行了~ 为什么使用生成模型(贝叶斯)求出的结果跟我们实际的不一样呢,这是因为在我们取的样本中,Class2的样本里面没有两个都是1的情况,但是如...

wzn19930319的博客 262

机器学习技法(林轩田)学习笔记:Lecture 5 & Lecture 6

Lecture 5:Kernel Logistic Regression Soft-Margin SVM as Regularized Model 我们首先回顾Soft-Margin SVM的优化目标 在得到的最优解\((b,w,\xi)\)中,当\((x_n,y_n)\)没有越过margin自己这一方的边缘,则\(\xi_n=0\),否则\(\xi_n=1-y_n(w^Tz_n+b)\) 所以...

weixin_30596165的博客 175

Stanford CS230学习笔记(二):Lecture 2 Basics, Logistic Regression and Vectorization

事先声明:本文是写给自己看的,发在这里是因为掘金图床真的好方便orz(是的之前在掘金上,但是后来掘金的文中代码块标红,好难看!),本系列将按照我自己的逻辑整理,知识点并没有全写上,还可能会出现随心所欲中英文混杂的情况,公式也打算截图,如果你碰巧看到我的想要照着看也不是不行,但网上总结得比我好的太多了,甚至可以去找找看Stanford自己整理的笔记,内容很全,不过是全英文的,而且排版有点反人类 深度...

thinszx的博客 393

Stanford机器学习__Lecture notes CS229. Logistic Regression(逻辑回归)(1)

Stanford机器学习__Lecture notes CS229. Linear Regression(1)前面这一部分,我们谈了简单线性模型。例如,对于样例(x,y),当我们希望线性模型的预测值逼近真实标记y时,就得到了线性回归模型,为便于观察,我们把线性回归模型简写成: y=wT+b \begin{equation} y=w^{T}+b \end{equation} 可否令模型预测值逼近y的

风先生的日常专栏 2307
上一篇: 台大机器学习基石 Lecture 9 - Linear Regression
下一篇: 台大机器学习基石 Lecture 11 - Linear Models for Classification
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值