5、支持向量机多分类与迁移学习方法解析

支持向量机多分类与迁移学习方法解析

在机器学习领域，多分类支持向量机（Multi-Class Support Vector Machine）以及基于支持向量学习的迁移学习方法是重要的研究方向。本文将深入探讨这些方法的原理、特性以及相关问题的解决策略。

多分类支持向量机

在多分类支持向量机中，SimMSVM 算法是一种直接解决多分类问题的新方法。它通过修改 Crammer 和 Singer 的多分类 SVM，引入了宽松的分类误差界限，将对偶变量的规模从 (l × k) 减少到 (l)（其中 (l) 是训练数据的规模，(k) 是类别数量）。

SimMSVM 的判别能力

如果忽略 (2.36) 的等式约束，(2.19) 和 (2.36) 的唯一区别在于二次目标函数的 Hessian 矩阵。实际上，SVDD 将所有涉及的训练样本视为一类，支持向量（那些 (\alpha_i > 0) 的 (x_i)）通常出现在数据分布的边界上。下面的引理证明了 (2.19) 的 Hessian 矩阵 (G = K ⊙(P P^T)) 将赋予 SimMSVM 在所有类别之间的判别能力。

引理 1 ：通过求解对偶优化问题 (2.19)，当采用 RBF 核时，第 (m) 类的决策值 (f_m(x) = \sum_{i:y_i=m} \alpha_i \kappa(x_i,x)) 非平凡为 0，即每一类至少有一个支持向量。

证明 ：采用反证法。从 (2.19) 的 Karush—Kuhn—Tucker 最优性条件可知，向量 (\alpha) 是 (2.19) 的驻点，当