支持向量机SVM

支持向量机SVM

什么是支持向量机

分类梨和苹果除了用KNN画个圈还有什么好办法？

• 画条线！

  • 通过两者所在的空间做出区分当新样本落在苹果一侧就是苹果，反之就是梨。而这条线就是SVM支持向量机。

  • 除了界限，样本与线的距离同样有意义代表着样本分类的可信程度，以苹果一侧为例与线距离最远的样本是苹果的可能性最高离的越近是苹果的可能性就越低。

  • 目标是在两种样本之间找到能让所有样本的分类可信程度最高的那条线。不必计算所有的距离，只要找到线附近的样本让它们与线的距离越远越好，这个距离被称为分类间隔****，决定了线的样本被称为支持向量**。

  • 如果样本的分布有***交叉***，就关注这些无法被线正确分类的样本与线之间的距离，找到能***最小化这个距离的线***。

  • 如果样本的分布并不理想，无法用直线区分怎么办？

    ：通过一定的变换，将它们映射到一个能用直线区分的空间，再寻找分类线。

• 在深度学习出现之前，随机森林和SVM是最好用的分类方法，SVM对样本依赖小，不会过拟合，小样本也能取得不错的效果。