如何理解svm的损失函数

合页损失函数

线性支持向量机还有另外一种解释，就是最小化以下目标函数（svm的损失函数）：

目标函数第一项为经验损失或经验风险，函数：

称为合页损失函数，下标$“+”$表示取正值。

在学习支持向量机的过程中，因为其损失函数的形状像一个合页，故命名合页损失函数。

下图为合页损失函数的图像：

横轴表示函数间隔，我们从两个方面来理解函数间隔：

• 正负

  当样本被正确分类时，$y(wx+b)>0$；当样本被错误分类时，$y(wx+b)<0$。

• 大小

  $y(wx+b)$的绝对值代表样本距离决策边界的远近程度。$y(wx+b)$的绝对值越大，表示样本距离决策边界越远。

因此，我们可以知道：

1. 当$y(wx+b)>0$时，$y(wx+b)$的绝对值越大表示决策边界对样本的区分度越好

2. 当$y(wx+b)<0$时，$y(wx+b)$的绝对值越大表示决策边界对样本的区分度越差

从图中我们可以看到，

• 0-1损失

  当样本被正确分类时，损失为0；当样本被错误分类时，损失为1。

• 感知机损失函数

  当样本被正确分类时，损失为0；当样本被错误分类时，损失为$-y(wx+b)$。

• 合页损失函数

  当样本被正确分类且函数间隔大于1时，合页损失才是0，否则损失是$1-y(wx+b)$。

相比之下，合页损失函数不仅要正确分类，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求。

SVM的损失函数

SVM的损失函数就是合页损失函数加上正则化项：