14、核机器：原理、应用与优化

核机器：原理、应用与优化

1. 核机器简介

核机器是一种最大间隔方法，可将模型表示为训练实例子集影响的总和。这些影响由特定应用的相似性核给出，可用于分类、回归、异常检测和降维等任务。支持向量机（SVM）是核机器的一种，近年来因其诸多优点而备受关注：
- 判别式方法 ：依据Vapnik原理，避免在解决实际问题前先解决更复杂的问题。例如在分类中，只需估计类边界，无需估计类密度或精确的后验概率。
- 支持向量表示 ：训练后，线性模型的参数（权重向量）可由训练集的一个子集（支持向量）表示。这些支持向量靠近边界，有助于提取知识，其数量可估计泛化误差，且能实现核化。
- 核函数影响 ：输出表示为支持向量影响的总和，由核函数衡量数据实例间的相似性。核函数与非线性基函数类似，可将输入映射到新空间以获得线性解。
- 超越传统表示 ：多数学习算法使用向量表示数据点，采用点积或欧氏距离。核函数则可突破这一限制，例如用于计算两个图的共享路径数。
- 凸优化问题 ：基于核的算法是凸优化问题，有唯一的解析解，无需考虑学习率、初始化和收敛性等启发式问题，但仍需超参数进行模型选择。

2. 最优分离超平面

考虑二分类问题，使用 -1 和 +1 标记两个类。样本为 (X = {x_t, r_t})，其中 (r_t = +1) 表示 (x_t \in C_1)，(r_t = -1) 表示 (x_t \in C_2)。目标是找到 (w) 和 (w_0)，使得：
[