8、分类算法中的感知机成本函数及相关概念解析

分类算法中的感知机成本函数及相关概念解析

1. 线性可分数据集的分类

在处理线性可分数据集时，使用梯度下降法最小化平方边际感知机成本函数，不同的起始点会得到不同的分类器。例如，对于图中所示的线性可分数据集，从三个不同起始点初始化梯度下降，得到了三个不同的分类器，且每个分类器都能完美地分离两个类别。这是因为当两类数据线性可分时，存在无限多个不同的分离超平面，相应地，成本函数也有无限多个不同的最小值。所以，随机选择起始点进行梯度下降或牛顿法，每次运行可能会得到不同的解和分离超平面。

2. 学习到的分类器的准确性

对于给定的参数对 $(b, w)$，可以通过以下简单评估来确定点 $x_p$ 是否被正确分类：
- 首先，$sign\left(-y_p\left(b + x_p^T w\right)\right)$，当结果为 $+1$ 时，$x_p$ 分类错误；当结果为 $-1$ 时，$x_p$ 分类正确，其中 $sign(\cdot)$ 取输入的数学符号。
- 然后，$max\left(0, sign\left(-y_p\left(b + x_p^T w\right)\right)\right)$，当结果为 $+1$ 时，$x_p$ 分类错误；当结果为 $0$ 时，$x_p$ 分类正确。

通过对所有 $p$ 求和 $max\left(0, sign\left(-y_p\left(b + x_p^T w\right)\right)\right)$，可以得到一个基本的计数成本函数：
$g_0 (b, w) = \sum_{p=1}^{P} max\left(0, sign\left(-y_p\left(b + x_p^T w\right)