SVM的来龙去脉（1）

SVM的来历

     SVM作为机器学习中的一大霸主（虽然今时不同往日），对机器学习领域产生了很大的影响。SVM的相关原理看的时间比较久，所以想记录一下，想说清楚这件事需要比较多的文字，所以文章比较长（分为几部分），我们先谈谈SVM的来历  

1、Logistic回归

我们就先从logistic回归谈起，我们都知道线性回归是试图学得一个线性模型，以尽可能准确的预测实值输出标记。假如我们将线性回归用于分类问题，然后设置一个阈值对实值输出标记进行分类，如下图所示：

（这是一个用肿瘤尺寸判断良性\恶性的线性回归模型）

   像图中，假设我们用线性回归做分类处理，然后设置阈值为0.5，输出值为0.5所对应的肿瘤尺寸大小为分割线，那么红色线可以得到不错的性能，但是当样本集中出现途中最右边的样本点时，回归线变为蓝色，这时性能就会很差。          

   直接将线性回归应用于分类问题性能会相当差。简单来说，以二分类为例，输出结果非0即1，但是线性回归的输出结果有时会远大于1或远小于0，这看起来就会很奇怪。          

   所以logistic回归，说到底其实就是要找到合适的函数将线性回归中的值转化为0/1

   使用sigmoid函数来实现对线性回归结果的转换，如下图所示：