面试（1）：逻辑回归（LR）与支持向量机（SVM）的区别和联系

1、为什么常比较这两个算法

（1）这两个算法是基础算法，常被使用。
（2）LR与SVM之间有很多相似点，因此常被放在一起比较。

2、二者相同点

       第一，LR和SVM都是分类算法。

       LR和SVM主要用于解决二分类问题，但是LR和SVM都可以推广到多分类的问题上，网上有说有时SVM也可以解决标签为连续变量的回归算法，但是用的较少。

      第二，如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。

      这里要先说明一点，那就是LR也是可以用核函数的，至于为什么通常在SVM中运用核函数而不在LR中运用，后面讲到他们之间区别的时候会重点分析。总之，原始的LR和SVM都是线性分类器，这也是为什么通常没人问你决策树和LR什么区别，决策树和SVM什么区别，你说一个非线性分类器和一个线性分类器有什么区别？

      第三，LR和SVM都是监督学习算法。

      半监督学习：在标记样本中加入无标记样本,增强有监督分类的效果;同样的,我们希望在无标记样本中加入有标记样本,增强无监督聚类的效果。半监督学习侧重于在有监督的分类算法中加入无标记样本来实现半监督分类

      第四，LR和SVM都是判别模型。

      判别模型会生成一个表示P(Y|X)的判别函数（或预测模型），而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说，在计算判别模型时，不会计算联合概率，而在计算生成模型时，必须先计算联合概率。或者这样理解：生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。常见的判别模型有：KNN、SVM、LR，常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。当然，这也是为什么很少有人问你朴素贝叶斯和LR以及朴素贝叶斯和SVM有什么区别。

      第五，LR和SVM在学术界和工业界都广为人知并且应用广泛。

3、二者不同点

       第一，损失函数是二者最为本质的区别。
       假设样本独立且同分布，最大对数似然估计进行变形，得到LR的损失函数（cross entropy loss）：
$$\min -\frac{1}{m}\sum _{i=1}^m($$