8、线性判别与支持向量分类器深度解析

线性判别与支持向量分类器深度解析

1. 引言

支持向量分类器（SVCs）作为多层神经网络的替代方案被引入并应用于分类问题。它具备较高的泛化能力，这激发了对计算加速以及模型复杂性和泛化理论的研究。然而，目前对于SVCs与其他分类技术，尤其是一些传统方法之间的紧密联系，认识还不够充分。

线性分类器一直备受关注，主要有以下三个原因：
- 计算简单：在学习和分类过程中，计算复杂度较低。
- 应用广泛：在众多领域取得了显著成功。
- 便于理论分析：例如感知机收敛定理的证明，极大地鼓舞了从业者。

本文将探讨线性判别技术，如感知机、径向基函数（RBFs）和SVCs之间的相互关系，重点强调直接权重空间的分布式学习方法和对偶参数空间的局部基于记忆的方法的互补性。

2. 什么是线性判别？

2.1 分类问题

考虑二分类问题，模式用n维向量x表示，标签y为二进制值（-1或+1）。例如，对手写数字0和1的图像进行分类，光学扫描仪得到灰度像素图像，每个像素编码为x的一个分量，数字0的图像标记为 -1，数字1的图像标记为 +1。分类问题通常由未知概率分布p(x, y) 描述，但会提供训练示例xi及其对应的类标签yi。目标是找到一个决策函数g(x)，准确预测任何示例x的类标签y。

2.2 判别函数

判别函数方法使用实值函数f(x)，其符号决定类标签预测：g(x) = sgn(f(x))。判别函数f(x) 可以用一些参数a来参数化，这些参数通过学习算法从训练示例中确定。许多模式分类方法都隐式或显式地使用判别函数。

2.3 线性判别