支持向量机

支持向量机

函数间隔与几何间隔

|𝒘T𝒙+𝑏| 能够表示点 𝒙 距离超平面的远近，而 𝒘T𝒙+𝑏 的符号与类标记 𝑦 的符号是否一致可表示分类是否正确。

因此，可用 𝑦(𝒘T𝒙+𝑏) 来表示分类的正确性及确信度，这就是函数间隔（functional margin）的概念。

对于给定的训练数据集 𝑇 和超平面 (𝒘,𝑏)，定义超平面 (𝒘,𝑏) 关于样本点 (𝒙𝑖,𝑦𝑖) 的函数间隔为
𝛾̂ 𝑖=𝑦𝑖(𝒘T𝒙𝑖+𝑏)
定义超平面 (𝒘,𝑏) 关于训练数据集 𝑇 的函数间隔为超平面 (𝒘,𝑏) 关于 𝑇 中所有样本点 (𝒙𝑖,𝑦𝑖) 的函数间隔的最小值，即
𝛾̂ =min𝑖=1,⋯,𝑁𝛾̂ 𝑖

几何间隔

对给定的w和b都要进行“归一化”，因为当w和b都变成2w和2b超平面可能没变，但是函数距离却变成了2倍，所以要进行一个改变。我们可以对分离超平面的法向量 𝒘 加某些约束，如规范化， ‖𝒘‖=1 ，使间隔是确定的。

𝛾𝑖=𝑦𝑖(𝒘/‖𝒘‖⋅𝑥𝑖+𝑏/‖𝒘‖)
然后求出样本点中几何距离最小的
𝛾=min𝑖=1,⋯,𝑁𝛾𝑖

函数间隔和几何间隔的区别

由函数间隔 𝛾̂ 和几何间隔 𝛾 的定义可推出如下关系
𝛾𝑖=𝛾̂ 𝑖/‖𝒘‖

𝛾=𝛾̂/ ‖𝒘‖

若 ‖𝒘‖=1 ，那么函数间隔和几何间隔相等。

此时，成比例的改变超平面参数 𝒘 和 𝑏 （超平面不变），函数间隔将按此比例改变，而几何间隔不变。