89、稀疏核机器：支持向量机与最大间隔分类器详解

稀疏核机器：支持向量机与最大间隔分类器详解

1. 引言

在机器学习领域，基于非线性核的学习算法应用广泛，但许多此类算法存在显著局限性。在训练过程中，核函数 (k(x_n, x_m)) 需对所有可能的训练点对 (x_n) 和 (x_m) 进行计算，这在计算上可能不可行，并且在对新数据点进行预测时会导致过长的计算时间。为解决这一问题，我们将探讨具有稀疏解的基于核的算法，使得对新输入的预测仅依赖于在训练数据点子集上计算的核函数。

2. 支持向量机（SVM）概述

支持向量机（SVM）在几年前开始流行，用于解决分类、回归和新奇性检测等问题。其重要特性在于，模型参数的确定对应于一个凸优化问题，因此任何局部解也是全局最优解。不过，由于对支持向量机的讨论大量使用拉格朗日乘数法，建议读者回顾相关关键概念。

需要注意的是，SVM 是一种决策机器，不提供后验概率。而另一种稀疏核技术——相关向量机（RVM），基于贝叶斯公式，能提供后验概率输出，且通常比 SVM 具有更稀疏的解。

3. 最大间隔分类器

3.1 线性模型与数据分类

我们从使用线性模型 (y(x) = w^T\varphi(x) + b) 解决二分类问题开始讨论 SVM，其中 (\varphi(x)) 表示固定的特征空间变换，(b) 为偏置参数。训练数据集包含 (N) 个输入向量 (x_1, \ldots, x_N) 以及对应的目标值 (t_1, \ldots, t_N)，其中 (t_n \in {-1, 1})，新数据点 (x) 根据 (y(x)) 的符号进行分类。

假设训练数据集在特征空间中是线性可分的，即存在至少一组参数 (w