机器学习之支持向量机

什么是支持向量机（SVM）？

        支持向量机是一种监督学习算法，主要用于分类和回归分析。它通过寻找一个超平面来最大化数据点与该平面之间的距离，从而实现对新数据的分类。

核心思想：argin Margin最大化

        SVM的目标是在训练数据上找到具有最大argin margin的超平面。这意味着不仅要正确分类现有的数据，还要尽可能地使不同类别的数据远离这个超平面，以提高模型的泛化能力。

支持向量的作用

        支持向量是指那些离分类边界最近的数据点。这些点对于确定分类模型至关重要，因为它们直接决定了超平面的位置和形状。

优化问题与拉格朗日乘数

        在SVM中，优化问题涉及到在满足所有数据点的约束条件（即正确分类）下最大化argin margin。这通常通过拉格朗日乘数法转化为对偶问题，从而使得计算更为高效。

核方法：处理非线性可分的数据

        当数据不是线性可分时，SVM可以通过使用核函数将数据映射到高维空间，在高维空间中实现线性分类。常用的核函数包括多项式核、径向基函数（RBF）核等。

硬argin与软argin SVM

• 硬argin SVM要求所有训练数据都必须被正确分类，适用于数据完全可分的情况。
• 软argin SVM允许一定数量的错误分类点，更适合处理有噪声或部