支持向量机（笔记）

在支持向量机（Support Vector Machine, SVM）中，"间隔"（margin）和"支持向量"（support vectors）是两个重要的概念，它们直接影响了SVM的性能和理论基础。

间隔（Margin）：

间隔是支持向量机中的一个重要概念，指的是决策边界（或称为超平面）与离它最近的训练样本点之间的距离。在二分类情况下，间隔可以理解为决策边界两侧最靠近边界的训练样本点到边界的距离之和的一半。

具体地，对于线性可分的情况，支持向量机的目标是找到一个最大间隔的超平面，即找到能够使得间隔最大化的决策边界。这个最大化间隔的过程可以通过求解一个凸优化问题来实现，通常使用拉格朗日乘子法来进行求解。

支持向量（Support Vectors）：

支持向量是指距离超平面最近的那些训练样本点。它们是支持向量机模型中决策边界的关键组成部分，因为它们决定了间隔的大小和方向。在训练过程中，支持向量机通过这些支持向量来定义决策边界，并且只有支持向量才对最终的分类决策有影响。

支持向量不仅限于位于间隔边界上的样本点，有时也包括一些位于间隔边界以内的样本点，尤其是对于软间隔支持向量机（soft-margin SVM）来说，它们可以处于间隔边界的内部，但对分类器的构建和性能仍然具有重要影响。

对偶性质和拉格朗日对偶：

1. 拉格朗日对偶性：

   • 对于一个原始优化问题，其拉格朗日函数由目标函数和约束条件构成。通过引入拉格朗日乘子，可以得到一个与原始问题等价的对偶问题。
   • 拉格朗日对偶问题的关键是通过最大化拉格朗日函数关于拉格朗日乘子的下界来得到对偶问题。

2. 对偶问题的形式：

   • 原始问题的对偶问题通常是一个极小极大问题，即先极小化拉格朗日函数关于原变量，再极大化关于乘子。

3. 求解方法：