19、支持向量与统计力学在支持向量机中的应用

支持向量与统计力学在支持向量机中的应用

1. 引言

在机器学习中，许多理论方法通过通用的、与分布无关的边界来估计学习机器的泛化能力。然而，这些边界在不利的数据生成机制下也成立，因此在较乐观的情况下，其紧密程度并不明确。所以，研究非平凡学习问题的模型很重要，通过这些模型可以得到训练后学习机器的泛化误差和其他特性的精确结果。

统计力学作为理论物理学的一个领域，为构建和分析这类学习情况提供了方法。它对由许多相互作用实体组成的复杂系统进行概率描述。最初用于研究无定形材料特性的工具，使我们能够在可调参数和示例数量较大时，针对特定类型的数据分布，对学习机器的性能进行可控的分析实验。与一些统计理论不同，统计力学的“热力学极限”可以模拟相对较小样本量的影响，即样本大小和参数数量都趋于无穷大，但保持适当的比例不变。自Elizabeth Gardner的开创性工作以来，这种方法在过去十年中已成功应用于神经网络领域的各种问题，现在我们将其应用于支持向量机（SVM）的学习。

2. 基本SVM设置

我们主要关注SVM分类器。它通过一个从输入向量 $x \in R^N$ 到特征空间 $F$ 的非线性映射 $\Phi(\cdot)$ 来定义。该映射由SVM核 $k(x, y)$ 的特征向量 $\phi_j(x)$ 和特征值 $\lambda_j$ 构建，即 $\Phi(x) = (\sqrt{\lambda_1} \phi_1(x), \sqrt{\lambda_2} \phi_2(x), \cdots)$。SVM的输出 $y$ 可以表示为特征空间中的线性分类：
[
\text{sgn}(\Phi(x) \cdot w) = \text{sgn}\left(\sum_{j =