LR与SVM的区别

LR与SVM的区别

相同点：

1.LR和SVM都是分类算法；

2.如果不考虑核函数，LR和SVM都是线性分类算法，即它们的分类决策函数都是线性的；

3.LR和SVM都是监督学习算法；

4.LR和SVM都是判别模型。

不同点：

1.从目标函数来看，LR采用的是对数损失函数，SVM采用的是合页损失函数。这两个损失函数的目的都是增加对分类影响较大的数据的权重，减小对分类影响较小的数据的权重。

2.LR是全局模型，对异常值敏感，对极度样本不平衡的数据集敏感，而SVM是局部模型，只考虑支持向量，对异常值不敏感。

３.LR模型更简单，更适用于处理大规模数据集，但是需要在模型训练前做复杂的特征工程，而SVM适用于小规模数据集，时间复杂度高，参数比较多，模型优化更复杂。

４.LR一般用于解决线性分类，对非线性问题LR往往先通过复杂的特征工程映射到高维稀疏的可分特征空间中，而SVM通过对偶形式自然引入了核函数。

SVM采用核函数而LR不采用核函数的原因：SVM训练时只有少数的支持向量样本参与计算，也就是只有支持向量才参与核函数计算，而LR中，所有数据样本都参与计算，如果使用核函数，所有样本都参与核函数计算，时间复杂度很高。

５.LR适合需要得到一个分类概率的应用场景，SVM不会产生分类概率，直接产生分类类别。

6.SVM的损失函数中自带L2正则项，因此达到结构风险最小化，而LR必须自己在损失函数上加入L1或L2正则。