LR和SVM的比较

原创

于 2021-03-30 00:59:48 发布 · 494 阅读

CC 4.0 BY-SA版权

LR和SVM都是处理分类问题的算法，常用于线性二分类。它们都可以添加不同正则化项，如L1、L2。LR是参数模型，采用logistical loss，而SVM是非参数模型，使用hinge loss，重点关注support vectors。在大规模线性分类时，LR通常更简单易懂；SVM则在复杂核函数计算时表现优秀。适用性方面，若特征数n远大于样本数m，选择线性LR或SVM；若n较小，m适中，推荐使用带核函数的SVM；若n小，m大，增加特征后用LR或线性SVM。

LR和SVM的比较

联系
区别
两者的适用性

联系

1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）
2、两个方法都可以增加不同的正则化项，如l1、l2等等。所以在很多实验中，两种算法的结果是很接近的。

区别

1、LR是参数模型，SVM是非参数模型。
2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。
3、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。
4、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。
5、logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了。

其中：
hinge loss 的表达形式：在这里插入图片描述