28、机器学习分类与回归方法研究：SVM - RDA 分类器与 Bagging 方法对比

机器学习分类与回归方法研究：SVM - RDA 分类器与 Bagging 方法对比

1. SVM - RDA 分类器介绍

1.1 SVM 分类器

支持向量机（SVM）是由 Vapnik 提出的一种大间隔分类器。其核心思想是寻找一个最优的分离超平面，以区分两个类别。二元 SVM 的决策函数为：
[f(x) = \text{sign}\left(\sum_{i = 1}^{N} \alpha_i y_i K(x_i, x) + b\right)]
其中，(0 \leq \alpha_i \leq C)（(i = 1, 2, \cdots, N)）是非负拉格朗日乘子，(C)是成本参数，用于控制允许训练误差和强制严格边界之间的权衡；(x_i)是支持向量，(K(x_i, x))是核函数。在实验中，使用径向基函数（RBF）核：
[K(x_i, x) = -\gamma |x - x_i|^2, \gamma > 0]

1.2 RDA 分类器

二次判别分析（QDA）将类的似然性建模为高斯分布，然后使用后验分布来估计给定测试向量的类别，得到判别函数：
[d_k(x) = (x - \mu_k)^T \Sigma_k^{-1} (x - \mu_k) + \log |\Sigma_k| - 2 \log p(k)]
其中，(x)是测试向量，(\mu_k)是均值向量，(\Sigma_k)是协方差矩阵，(p(k))是类(k)的先验概率。当训练样本数量(n)相对于训练向量的维数较小时，协方差估计可能是病态的。为解决这个问题，在正则化判别分析（RDA）中，每个协方差矩阵可以估计为：
[\hat{\Sigma}_k