线性回归、逻辑回归、SVM以及凸优化的一些推导总结

最新推荐文章于 2024-06-18 14:12:06 发布
原创 最新推荐文章于 2024-06-18 14:12:06 发布 · 551 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法

这篇博客总结了机器学习中的线性回归、逻辑回归和支持向量机（SVM）的模型推导与实现。线性回归通过梯度下降进行参数优化，逻辑回归利用同样方法处理分类问题。SVM的目标是最优间隔，通过拉格朗日乘子法解决等式约束，涉及KKT条件，优化过程中可能使用SMO算法。博客还探讨了Hinge Loss及其在SVM训练中的应用，并讨论了是否能用梯度下降训练SVM。

线性回归、逻辑回归、SVM以及凸优化的一些推导总结

机器学习部分模型推导与实现

Linear Regression 线性回归

gradient descent相关计算推导

在这里插入图片描述

Logistic Regression 逻辑回归

gradient descent相关计算推导

在这里插入图片描述

Supprot Vector Machine 支持向量机

优化目标（硬间隔SVM 又称最大间隔分类器

在这里插入图片描述

支持向量是位于间隔上的数据点

优化目标：间隔margin最大

margin = 2/||w|| 要这个最大

即要minimize ||w||/2

约束条件

在这里插入图片描述

由上图可知，

要求yi(wx+b)>=1

拉格朗日乘子、松弛变量与KKT条件

要从梯度去理解！！！

一个问题说明拉格朗日乘子法解决等式约束

现在我们要解决这样一个问题：x^2*y=3 这个函数距离原点最近的距离是多少。

函数曲线：

在这里插入图片描述

梯度图像
在这里插入图片描述
在这里插入图片描述

梯度理解拉格朗日乘子法

在这里插入图片描述

梯度与等值面：https://zhuanlan.zhihu.com/p/111723231

对偶问题

参考：https://zhuanlan.zhihu.com/p/114574438

https://blog.youkuaiyun.com/frostime/article/details/90291392

SVM优化推导

https://blog.youkuaiyun.com/d__760/article/details/80387432

求解α：SMO算法，见上链接

Hinge Loss

https://blog.youkuaiyun.com/weixin_43373042/article/details/107704383?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162936210216780271588195%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=162936210216780271588195&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allbaidu_landing_v2~default-1-107704383.first_rank_v2_pc_rank_v29&utm_term=SVM%E4%BC%98%E5%8C%96%E6%8E%A8%E5%AF%BC&spm=1018.2226.3001.4187

能否用梯度下降训练SVM

https://www.zhihu.com/question/265751466

“ 麋路 ”的回答

凸优化解决线性回归问题
weixin_48457572的博客
05-01 1204
感觉在机器学习和深度学习的过程中遇到了瓶颈，细想觉得来自于之前对于优化课程里的知识，尤其是各类规划问题没有完全理解下来，没有把两个学科结合起来学习。 受挫明显让我觉得把只是重新拿出来啃一啃，对于复杂的数学式子逐步拆分理解下来。 课程学习的教材是经典的Boyd的convex optimization，同时也参考了一些csdn大神的文章。 引言 第一章，引言 就不说了，对于这种稍闭环的书，前面主要只是介绍一下研究对象 凸集和凸函数基础概念 第二章 凸集 引入凸集的概...
Logistic Regression是凸优化问题吗？
Working. Playing.
05-15 4511
对LR的理论探讨
【吴恩达系列】machine learning课程week1----机器学习概述/单变量线性回归/凸优化
2020找offer
04-14 313
Week1：机器学习基础 机器学习： “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves ...
逻辑回归推导理解及与SVM比较
Mark_Australia的博客
03-12 616
逻辑回归的似然函数： 其中yi代表1或0，如果某一样本的结果为正例则其对应概率为pi(x)，如未负例则对应概率为1-pi(x) 总体的样本概率为每个样本的概率乘积。 如果是直接使用最大似然估计的似然函数得到目标函数，则需要使用梯度上升； 如果是使用负对数似然函数NLL，则需要使用梯度下降算法。 ——无论上升还是下降，本质都是一样的。 参考： https://blog.youkuaiyun.com/hao5335156/article/details/82388151(理解yi的意思..
什么是凸函数？逻辑回归凸优化？
十三
12-06 697
????️凸函数？ 函数L(·）是凸函数，当且仅当对定义域内的任意两点x,yx, yx,y和任意实数λ\lambdaλ总有L(λx+(1−λ)y)≤λL(x)+(1−λ)L(y)L(\lambda x + (1-\lambda)y) \leq \lambda L(x) + (1-\lambda) L(y)L(λx+(1−λ)y)≤λL(x)+(1−λ)L(y) 凸函数曲面上任意两点连成的线段，其上任意一点都会在曲线上方 二阶导数非负 ????逻辑回归对应的优化问题就是凸优化。 对于二分类，Y∈{−1,1
线性回归、逻辑回归、RNN、CNN、KNN、SVM算法总结
热门推荐
BigDataEngineer的博客
10-29 1万+
常见的监督学习：线性回归、决策树、朴素贝叶斯分类、最小二乘法、逻辑回归、支持向量机、集成方法 常见的无监督学习：聚类算法、主成分分析、奇异值分解、独立成分分析。 常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost、GBDT、boosting、神经网络NN。 常见的降维方法包括TF-IDF、主题模型LDA、主成分分析PCA等等 常用的回归技术：线性回归、多项...
ESL第四章 分类的线性方法 指示矩阵线性回归/LDA和线性回归区别联系/QDA/RDA/低秩LDA与PCA&线性回归联系/IRLS/Wald和Rao score检验/L1逻辑回归、感知机/SVM
小树屋
11-27 1655
目录4.2 指示矩阵(Indicator Matrix)线性回归 4.2 指示矩阵(Indicator Matrix)线性回归 P104 用回归做K分类，Y∈RN×K\bm Y \in \mathbb R^{N\times K}Y∈RN×K，其中每一行只有一个位置为1. 可以证明如果有偏置项，对任意输入xxx，这KKK个值求和为1，不过可能会出现负数 ...
学习笔记1：线性回归和逻辑回归、AUC
m0_64375823的博客
11-23 945
复习笔记1——线性回归和逻辑回归 文章目录复习笔记1——线性回归和逻辑回归一、机器学习基本概念1.1 什么是模型1.2 极大似然估计1.3为啥使用梯度下降法求解1.4 梯度下降法本质1.5 梯度下降的算法调优1.6 归一化的作用1.7 类别特征的表示1.8 组合特征二、线性回归2.1为啥线性回归使用mse做损失函数2.2 线性回归的抗噪声、抗冗余2.3 正则化和过拟合2.4 欠拟合的解决办法2.5 泛化误差上界三、逻辑回归3.1为何逻辑回归使用交叉熵为损失函数3.2如何理解AUC3.2.1、关于ROC的几个
机器学习 | 逻辑回归
happylls666的博客
12-23 1969
逻辑回归学习小结
三天爆肝快速入门机器学习：线性回归、逻辑回归、岭回归【第三天】
weixin_56957149的博客
04-17 1558
三天爆肝快速入门机器学习【第三天】线性回归过拟合和欠拟合岭回归逻辑回归保存和加载模型K-Means 线性回归 学术上： 线性回归属于回归问题 它包含一元线性回归和多元线性回归 形象讲解开始： 我们先从一元的线性回归下手 参见上一篇《初探篇》里对用于模型训练的样本的定义，样本可以是音频、图片、点集等等，这里我用一个简单的点集作为我们的样本解释，如图 图片 你们看这些离散的点有各自的坐标值，其实这就是一组很小型的数据了，你完全可以类比实际应用的值 （这里用Andrew Ng教授很喜欢的房价比喻来解释吧） 比如这
机器学习第四课：SVM前置知识点（凸优化问题）
魔峥漫谈
09-07 5331
内容主要来源于 从凸优化到KKT
机器学习（四）逻辑回归Logistic Regression (LR)
Katrina_ALi的博客
07-17 962
　　今天写大名鼎鼎的LR，话说本宝宝认为这个算法真的是大隐隐于市的典范，简单大气，应用还广！啧啧啧~~~ 　　首先我们要明确的一个问题就是，虽然这个叫回归，让我们联想到了线性回归。但是，这是个分类算法，而不是回归算法！！！既可以作为二分类，也可以多分类哦~ 1.二元LR 1.1二元LR模型 　　二项逻辑回归模型是如下的条件概率： 　　P(Y=1∣x)=exp(w⋅x+b)1+exp(w...
关于SVM推导的中的数学概念：凸优化
每日进步一点点
09-24 1072
1 关于凸函数 1.1凸函数的定义 在大学的高数课本上出现的凸函数其实与机器学习的凸函数并不太一样。在这里建议大家记住一个特殊的例子：，这个函数就是一个凸函数，可以方便大家理解。 下面这个是凸函数的定义： 设在区间上有定义,在区间上是凸函数当且仅当:，有 . 若≤改为＜，则是严格凸函数。 下面说一下关于凸函数的一阶条件与二阶条件及证明过程。 1.1 凸函数的一阶条件 一阶条...
SVM（一）：凸优化原理
最新发布
m0_69507172的博客
06-18 1130
支持向量机SVM是一种二分类模型（属于监督学习），它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM还包括核分类器，这使得它成为实质上的非线性分类器。SVM的学习策略就是间隔最大化，学习算法本质上是求解凸二次规划的最优算法。
逻辑回归简单总结
airplanefot的博客
08-04 581
现在是在学习吴恩达的深度学习课程，这个就当做每周的总结吧。 1 简介      据线性可分可以使用线性分类器，如果数据线性不可分，可以使用非线性分类器，这里似乎没有逻辑回归什么事情。但是如果我们想知道对于一个二元分类问题，对于具体的一个样例，我们不仅想知道该类属于某一类，而且还想知道该类属于某一类的概率多大,有什么办法呢？      ...
机器学习之凸优化
小猪观察家
09-12 1602
参考资料 概述 凸集和凸函数 凸优化及对偶问题参考资料参考视频:https://lagunita.stanford.edu/courses/Engineering/CVX101/Winter2014/about 貌似bilibili也有： http://www.bilibili.com/video/av8907218/ 但是没有字幕，对于英语差的人来说就麻烦了参考书籍：《Convex Opti
【技术分享】怎么理解凸优化及其在SVM中的应用
qq_42933419的博客
01-03 722
本文原作者：汪毅雄，经授权后发布。 原文链接：https://cloud.tencent.com/developer/article/1503367 导语：本文先介绍了凸优化的满足条件，然后用一个通用模型详细地推导出原始问题，再解释了为什么要引入对偶问题，以及原始问题和对偶问题的关系，之后推导了两者等价的条件，最后以SVM最大间隔问题的求解来说明其可行性。 凸优化理论广泛用于机器学习中，也是...
凸优化学习笔记
weixin_40196271的博客
03-01 1240
1.凸集：一个集合区域内任意两点的直线连接都在这个区域内，则这个集合为凸集。比如：扇形、缺失了某个边的矩形就不属于凸集。 2.超平面、半超平面 超平面：，半超平面：或者。其中超平面在二维空间就是直线。超平面和半超平面可以组成一个多面体，构成凸集。 3.保凸运算：交、仿射变换、透视变换 交：比如超平面之间的交集是个凸集； 仿射变换：，其中a是个矩阵，仿射变换可以经过平移、旋转、缩放。如果x...
机器学习（凸优化，SVM） 笔记整理
qq_44920808的博客
11-09 1053
机器学习笔记（1） 凸优化、线性对偶问题 凸优化 一个AI问题可以把它分解为模型加优化两部分构成，模型有DL、SVM、CNN等，优化有GD，SGD，Adam等等。 机器学习的核心是优化问题。任何一个优化优化问题可以写作以下形式： 若待优化问题是凸函数，我们则可以找到一个全局最优解（Global optimal），如逻辑回归； 若为非突函数，我们找到的最优解通常为局部最优解（Local optimal） 如神经网络。 判断是否为凸优化问题 凸集的定义：假设对于任意x，y∈C，对任意的α∈[0,1]，有 αx
西北工业大学凸优化期中作业：SVM支持向量机研究
西北工业大学凸优化期中作业所涉及的知识点主要围绕“支持向量机（SVM）”这一经典的机器学习分类算法展开，结合凸优化理论进行深入分析与理解。该作业虽然内容较为基础，但其背后蕴含了丰富的数学原理和优化思想，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值