27、支持向量机与半监督学习算法研究

支持向量机与半监督学习算法研究

支持向量机（SVM）的定制核方法

在过去二十年里，支持向量机（SVM）已成为最著名的分类技术之一。传统上，SVM 核的最优参数通常通过交叉验证获得，但这是一个耗时的过程。本文提出了一种在解决对偶优化问题时学习 SVM 核参数的方法。

SVM 简介

SVM 由 Vapnik 等人开发，用于模式识别和函数回归。它假设训练集中的所有样本独立同分布，采用统计学习理论中的结构风险最小化原则的近似实现，而非经验风险最小化方法。核函数用于将输入数据映射到更高维的特征空间，使问题变得线性可分，SVM 核在 SVM 应用的性能中起着至关重要的作用。

近年来，SVM 应用有了一些进展。例如，Chen 和 Dudek 开发了自相关小波核用于模式识别，该核优于小波核，因为自相关小波具有平移不变性，而小波不具备此特性，平移不变性在模式识别中非常重要。Chen 还提出了双树复小波（DTCWT）核用于 SVM 分类，DTCWT 具有近似平移不变性和更好的方向选择性，使其成为模式识别的更好选择。

提出的方法

对于具有 n>2 类的模式识别问题，SVM 可通过解决 n×(n - 1)/2 个两类 SVM 问题来实现分类。两类 SVM 问题的原问题形式可表述为：
Min: ½ ||w||²
Subject to: yi (wTxi - b) ≥ 1 for all i = 1, 2, …, n.

通过引入拉格朗日乘子 αi ≥ 0，可将其转化为二次对偶优化问题：
Max: ∑ αi – ½ ∑ ∑ αi αj yi yj k(xi, xj)
Subje