支持向量机(SVM)和逻辑回归(LR)

支持向量机(SVM)和逻辑回归(LR)

支持向量机文档
逻辑回归文档

一、相同点

1、都是常用的分类算法。
2、如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。
3、LR和SVM都是监督学习算法。
4、LR和SVM都是判别模型
判别模型会生成一个表示P(Y|X)的判别函数（或预测模型），而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说，在计算判别模型时，不会计算联合概率，而在计算生成模型时，必须先计算联合概率。或者这样理解：生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。常见的判别模型有：KNN、SVM、LR，常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。
5、LR和SVM在学术界和工业界都广为人知并且应用广泛

二、不同点

1、首先他们的损失函数不一样，这算本质上区别
不同的loss function代表了不同的假设前提，也就代表了不同的分类原理，也就代表了一切！！&