8、线性判别与支持向量分类器详解

线性判别与支持向量分类器详解

1. 引言

线性分类器在机器学习领域一直占据着重要地位。它们计算简单，在学习和分类过程中都具有高效性，并且在众多应用领域取得了显著成功。同时，线性分类器也易于进行理论分析，例如感知机收敛定理的证明就极大地鼓舞了从业者。

支持向量分类器（SVCs）作为一种线性分类器，在高维空间中表现出色。近年来，大量的SVC训练算法被提出，但人们往往忽视了SVC与其他许多分类技术，尤其是传统“经典”方法之间的紧密联系。接下来，我们将深入探讨线性判别技术之间的相互关系，包括感知机、径向基函数（RBFs）和SVCs，并强调对偶性在其中的关键作用。

2. 什么是线性判别？

2.1 分类问题

我们主要考虑二分类问题，其中模式用n维向量x表示，并标记为二进制值y∈{-1, +1}。例如，在手写数字0和1的分类任务中，光学扫描仪得到的灰度像素图像，每个像素编码为x的一个分量，数字0标记为 -1，数字1标记为 +1。分类问题通常由未知的概率分布p(x, y) 描述，但会提供训练示例xi及其对应的类别标签yi。我们的目标是找到一个决策函数g(x)，能够准确预测任何示例x的类别标签y，无论该示例是否属于训练集。

2.2 判别函数

判别函数方法使用实值函数f(x)，其符号决定类别标签预测，即g(x) = sgn(f(x))。判别函数f(x) 可以用一些参数a = {a1, …, ap} 进行参数化，这些参数通过学习算法从训练示例中确定。许多模式分类方法都使用判别函数，例如在标准三层神经网络中，每个输出单元实际上都计算一个判别函数，输入模式被分配给具有最大判别值的输出单元对应的类别标签。

2.3 线