逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点

最新推荐文章于 2024-09-22 10:49:42 发布
原创 最新推荐文章于 2024-09-22 10:49:42 发布 · 3.6k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文对比分析了逻辑回归（LR）与支持向量机（SVM）两种机器学习算法，阐述了它们的基本概念、工作原理及应用策略。LR适用于分类问题，采用对数几率函数作为激活函数，损失函数为似然函数；而SVM作为一种二分类模型，追求间隔最大化，可处理线性和非线性分类问题。两者均为有监督学习算法，但在风险性、考虑的点数、结果产出等方面存在差异。

创建于：2020.03.18
修改于：2020.03.19

文章目录

1. 背景

自己在学习机器学习知识，在学习的时候，感觉懂了，当被别人问到时候，发现回答不上来。网上资源挺多的，自己写写更有印象。

2. 逻辑回归（LR）
2.1 基本概念

逻辑回归（Logistic Regression）用于分类，而不是回归。对于逻辑回归，输入可以是连续的(-∞, +∞)，输出一般是离散的，通常只有两个值{0, 1}。

  • 逻辑回归中选择对数几率函数（logistic function）作为激活函数，对数几率函数是Sigmoid函数（形状为S的函数）的重要代表。

  • 损失函数为似然函数。

  • LR是一个传统的二分类模型，它也可以用于多分类任务，其基本思想是：将多分类任务拆分成若干个二分类任务，然后对每个二分类任务训练一个模型，最后将多个模型的结果进行集成以获得最终的分类结果。

    • one vs one策略
    • one vs all策略

  • g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+

最低0.47元/天 解锁文章
算法岗面试知识点-SVM与逻辑回归异同
water的博客
02-16 530
SVM损失函数自带正则化，结构风险最小化（在训练误差和模型复杂度之间寻求平衡），可以防止过拟合，达到真实误差最小。SVM使用的是合页损失函数hinge loss，逻辑回归使用的是交叉熵损失函数；SVM依赖于数据之间的距离进行分类，需要预先标准化；SVM样本只考虑局部边界点，而逻辑回归考虑的是全局点；SVM在非线性问题上引入核函数，而逻辑回归不用；不考虑核函数，都为线性分类面；都为有监督学习算法；
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
最新发布
算法工程师
10-17 1060
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
支持向量机(SVM)和逻辑回归(LR)
会流泪de鱼的博客
02-28 2172
支持向量机(SVM)和逻辑回归(LR) 支持向量机文档 逻辑回归文档 一、相同点 1、都是常用的分类算法。 2、如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 3、LR和SVM都是监督学习算法。 4、LR和SVM都是判别模型 判别模型会生成一个表示P(Y|X)的判别函数（或预测模型），而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来...
一文详解人工智能：线性回归、逻辑回归和支持向量机（SVM)
m0_73916791的博客
11-25 2119
在人工智能领域，线性回归、逻辑回归和支持向量机是常见的机器学习算法。本文将详细介绍这三种算法的原理和应用，并提供相应的代码示例。
逻辑回归 和 支持向量机（SVM）比较
weixin_41645791的博客
09-22 1935
•。
逻辑回归，svm，以及他们的共同点和区别（偏问答）
weixin_43817900的博客
02-08 422
问答题 1.简介逻辑回归，svm，以及他们的共同点和区别 逻辑回归是一个二分类的算法，假设因变量y1满足伯努利分布2，变量x分类为1的概率满足sigmod函数，损失函数为对数损失函数，用梯度下降法进行参数优化 区别： 逻辑回归的损失函数是对数损失，svm的损失函数是hinge loss lr:loss(z)=log(1+exp(−z))z=y(wx+b)lr:loss(z) = log(1+e...
[机器学习笔记] 支持向量机SVM 和逻辑回归LR的异同
热门推荐
jieming2002的博客
02-12 1万+
参考： https://www.cnblogs.com/zhizhan/p/5038747.html 为什么把SVM和LR放在一起进行比较？ 一是因为这两个模型应用广泛。 二是因为这两个模型有很多相同点，在使用时容易混淆，不知道用哪个好，特别是对初学者。 相同点 都是线性分类器。本质上都是求一个最佳分类超平面。 都是监督学习算法。 都是判别模型。通过决策函数，判别输入特征之间的...
支持向量机、随机森林、K最近邻和逻辑回归-九五小庞
qq_37241964的博客
05-29 1198
支持向量机（Support Vector Machine, SVM）、随机森林（Random Forest）、K最近邻（K-Nearest Neighbors, KNN）和逻辑回归（Logistic Regression）是机器学习和统计学习中常用的分类算法。
支持向量机（SVM）与逻辑回归（LR）对比
weixin_44467105的博客
03-17 2149
相同： 1.本质都是线性分类器，都是要求一个最佳分类的超平面 2.都是监督模型 3.都是判别模型 判别模型有：KNN,SVL,LR, 生成模型：朴素贝叶斯， 马尔可夫 不同点： 1.损失函数不同，lr是交叉熵损失，SVM合页损失函数 2.SVM考虑分类边界线附近的样本（决定分类超平面的样本）。在支持向量外添加或减少任何样本点对分类决策面没有任何影响； LR受所有数据点的影响。直接依赖数据分布，每...
机器学习之逻辑回归和支持向量机
Zhuoning Guo's Blog
11-18 1431
哈工大《机器学习》期末复习 逻辑回归、支持向量机
逻辑回归与支持向量机的区别
girl_kwy的博客
04-02 4913
1、本质上是其loss function不同。2、支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的确定也起作用）。3、在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法。    通过上面的第二点不同点可以了解，在计算决策面时，SVM算法里只有少数几个代表支持向量的样本参与了计算，也就是只有少数几个样本需要参与核计算（即kernal machin...
机器学习| 面试题：01、机器学习中LR（Logistic Regression）和SVM（Support Vector Machine）有什么区别与联系？
Mrrunsen的博客
09-11 479
问题 机器学习中LR（Logistic Regression）和SVM（Support Vector Machine）有什么区别与联系？ 背景 LR和SVM的概念大家都有了解甚至很熟悉了，不过在面试中可能不止是简单地单独考察你对LR或SVM的理解，可能会让你对这两个算法进行比较分析，因此就有必要将两者放在一起比较一下。 LR和SVM的联系 1. LR和SVM都是分类算法 普通的LR和SVM算法只能处理二分类问题，当然，通过改进后的LR和SVM都可以用来处理多分类问题（后面会详细解释）。 2. 在不考虑核函数
逻辑回归( LogisticRegression)和线性支持向量机（LinearSVC）
qq_51228515的博客
12-14 4533
最近在自学图灵教材《Python机器学习基础教程》，在csdn以博客的形式做些笔记。 线性分类模型 线性模型不仅用于回归问题，也广泛应用于分类问题。我们首先来看二分类。这时可以利用下面的公式进行 预测： ŷ = w[0] * x[0] + w[1] * x[1] + …+ w[p] * x[p] + b > 0 这个公式看起来与线性回归的公式非常相似，但我们没有返回特征的加权求和，而是为预 测设置了阈值0。如果函数值小于 0，我们就预测类别 -1；如果函数值大于 0，我们就预测类别 +1。对
逻辑回归（logistics regression）和支持向量机（support vector machine）的区别
weixin_38381682的博客
05-13 2135
这个问题算是很多公司面试初级算法工程师时经常提的问题，可以轻松的检测面试的的算法基础能力。根据这两种算法理论以及应用场景总结有主要有以下几种区别：1.损失函数不同，LR：log lossSVM：hinge loss（常用来求解间距最大化问题，代表性的就是SVM）这两种损失函数都是加重对分类影响较大的点的权重，减少与分类数据关系较少的点的权重。但不同的是，LR 是考虑所有的样本点，而 SVM只考虑少...
逻辑回归与支持向量机的选择
zbw328的博客
04-09 510
从逻辑回归模型，我们得到了支持向量机模型，在两者之间，我们应该如何选择呢？ 1、如果相较于 m 而言，n 要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。2、如果 n 较小，而且 m 大小中等，例如 n 在 1-1000 之间，而 m 在 10-10000 之间，使用带高斯核函数的支持向量机。3、如果 n 较小，而 m 较大，例如 n ...
逻辑回归（LR)与支持向量机（SVM)之间的异同
yangdeshun888的博客
03-18 2391
最近有几个朋友私信我，说是在校招的时候被问到LR与SVM之间的异同，回答的不是太满意，希望我总结一下。 一、首先LR与SVM有什么相同点呢？ 第一，LR和SVM都是监督学习算法。 说白了就是带标签的学习。 第二，LR和SVM都是分类算法。 这里要说的是一般情况下LR与SVM的标签都是0/1这样的离散值，当然他们也是可以做回归的。 第三，如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 这里要先说明一点，那就是LR也是可以用核函数的，至于为什么通常在SVM中运用核函数而不在
SVM与Logistic回归的区别
Make AI，Not War
05-05 2419
SVM与Logistic回归的区别1.相同点1.1 都是分类算法1.2 如果不考虑核函数，LR和SVM都是线性分类算法1.3 LR和SVM都是监督学习算法。1.4 LR和SVM都是判别模型.2.不同点2.1 本质上是其loss function不同2.2 支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局.2.3 在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法2...
逻辑回归LR vs 支持向量机SVM
陶将的博客
09-27 2941
目录 LR vs SVM LR和SVM的相同点 LR和SVM的不同点 逻辑回归LR LR损失函数 LR公式推导 支持向量机SVM 间隔和支持向量 对偶问题 核函数 软间隔和正则化 LR vs SVM LR和SVM的相同点 都是监督学习算法（都需要有样本进行训练） 如果不考虑核函数，LR和SVM都是线性分类算法 都是判别模型（判别模型会生成一个表示P(y|x)的判别函...
LR（逻辑回归）和SVM（支持向量积）的联系与区别
Vertira的博客
06-04 1889
第一、他们的联系和区别 联系：LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 两个方法都可以增加不同的正则化项，如L1、L2等等。所以在很多实验中，两种算法的结果是很接近的。忽略 准确度的话，SVM能做的 LR不一定 能做；LR能做的，SVM一定能做。 区别：1、LR是参数模型，SVM是非参数模型。 2、从目标函数来看，区别在于逻辑回归采用的是Logistical Loss，SVM采用的是hinge loss.这两个损失函数的目的都是增加对分..
支持向量机与逻辑回归
08-27
支持向量机(SVM)和逻辑回归(LR)是两种常用的分类算法。SVM是一种非常强大的分类器，它使用一条或多条超平面将数据分割成不同的类别。SVM的训练过程是通过寻找最大间隔来找到一个最优的超平面，以达到最好的分类效果。SVM对于异常点比较敏感，因为它的训练只依赖于支持向量，一旦有噪声或异常点的干扰，预测结果可能会受到影响。此外，SVM的理论基础更加牢固，有一套结构化风险最小化的理论基础，并且在进行复杂核函数计算时能够大大简化模型和计算量。 逻辑回归是一种简单而直观的分类器，它通过将数据映射到一个Sigmoid函数的输出来进行分类。逻辑回归在理解和实现上比较简单，特别是在大规模线性分类时比较方便。与SVM不同，逻辑回归需要在损失函数上添加正则项来控制过拟合。此外，逻辑回归的损失函数不自带正则化，需要额外添加正则项来优化模型。 综上所述，SVM和逻辑回归在分类问题上有着不同的特点和适用场景。SVM具有更强的分类能力和理论基础，对复杂问题和少量支持向量的距离计算更为有效。而逻辑回归相对来说模型更简单、易于理解和实现，在大规模线性分类问题上更为方便。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [使用HOG矢量检测图像中的行人 Padestrian Detection in images using HOG Vector](https://download.youkuaiyun.com/download/qq_35831906/88252973)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [支持向量机(SVM)和逻辑回归(LR)](https://blog.youkuaiyun.com/sunhaiting666/article/details/104558239)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [逻辑回归与支持向量机的区别](https://blog.youkuaiyun.com/girl_kwy/article/details/79785322)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值