支持向量机(SVM)和逻辑回归(LR)

支持向量机(SVM)和逻辑回归(LR)

支持向量机文档
逻辑回归文档

一、相同点

1、都是常用的分类算法。
2、如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。
3、LR和SVM都是监督学习算法。
4、LR和SVM都是判别模型
判别模型会生成一个表示P(Y|X)的判别函数（或预测模型），而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说，在计算判别模型时，不会计算联合概率，而在计算生成模型时，必须先计算联合概率。或者这样理解：生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。常见的判别模型有：KNN、SVM、LR，常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。
5、LR和SVM在学术界和工业界都广为人知并且应用广泛

二、不同点

1、首先他们的损失函数不一样，这算本质上区别
不同的loss function代表了不同的假设前提，也就代表了不同的分类原理，也就代表了一切！！！简单来说，逻辑回归方法基于概率理论，假设样本为1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值，具体细节参考
逻辑回归相关文档。支持向量机基于几何间隔最大化原理，认为存在最大几何间隔的分类面为最优分类