Logistic regression与SVM

本文探讨了Logistic Regression与Support Vector Machine(SVM)的主要区别。Logistic模型寻找使所有点远离的超平面,而SVM仅关注支持向量,尤其适用于非线性问题。损失函数是两者本质不同的关键,Logistic Regression使用交叉熵损失,SVM则采用间隔损失。在实际应用中,根据特征数量和样本数量,选择不同的模型,如LR在特征与样本数量相近时适用,SVM+高斯核在特征较少的情况下适合样本数量一般的场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Logistic模型和SVM很像,现在大概说一下两者的区别

① 寻找最优超平面的方法不同

形象点说,Logistic模型找的那个超平面,是尽量让所有点都远离它,而SVM寻找的那个超平面,是只让最靠近中间分割线的那些点尽量远离,即只用到那些“支持向量”的样本——所以叫“支持向量机”。

② SVM可以处理非线性的情况

比Logistic更强大的是,SVM还可以处理非线性的情况。​

③Logistic regression 和 SVM本质不同在于loss function的不同,Logistic regression的损失函数是 cross entropy loss, SVM是hinge loss,Adaboost的损失函数是 exponential loss 。常见的回归模型通常用均方误差 loss。​

在Andrew NG的课里讲到过:
1. 如果Feature的数量很大,跟样本数量差不多,这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小,样本数量一般,不算大也不算小,选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小,而样本数量很多,需要手工添加一些feature变成第一种情况

PS: loss function
http://image.diku.dk/shark/sphinx_pages/build/html/rest_sources/tutorials/concepts/library_design/losses.html(下图一和图四来源)

这里写图片描述
loss function -from-李航《统计学习方法》
这里写图片描述
risk function-from-李航《统计学习方法》
这里写图片描述
cost function 和 loss function
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值