10、支持向量机分类器开发与线性变换不变性探究

支持向量机分类器开发与线性变换不变性探究

1. 支持向量机参数优化与误差界评估

在支持向量机的参数优化过程中，误差界无需精确，只要能体现参数变化的正确趋势即可。研究人员采用了多种方法对不同的误差界和交叉验证方法进行评估。
- 段等人对三个包含400 - 1300个训练数据的基准数据集，评估了五折交叉验证、通过(2.319)式得到的留一法（LOO）界、(2.315)式中的φ（其中h通过(2.317)式评估）以及(2.321)式。使用径向基函数（RBF）核，并通过这四种方法调整训练数据的C和γ参数。结果显示，五折交叉验证效果最佳，(2.319)式的界次之。由于(2.321)式中的Sm被替换为包含无界支持向量的最小超球体直径DU，导致结果不佳。
- 安圭塔等人使用一阶精确自助法对六个包含80 - 958个数据的数据集评估了(2.317)式的界。对于固定γ的RBF核，从原始训练数据集中有放回地抽取生成1000个训练数据集。对每个数据集训练支持向量机，并评估(2.317)式右侧的平均值和标准差。尽管(2.317)式的界较宽松，但它与未包含在生成训练数据集中的数据的识别率变化趋势一致。

2. 模型选择的优化方法

模型选择通常较为耗时，因此开发了多种方法来简化这一过程：
- 基于核参数平滑性的方法 ：克里斯蒂亚尼尼和坎贝尔指出，泛化误差的界在核参数上是平滑的。当间隔最优时，核参数的小变化只会导致间隔的小变化。对于RBF核的模型选择，可先使用较小的σ值训练支持向量机，评估误差界，然后增加σ值，重复此过程直到获得最优参数。
- 基于进化策略的参数调整 ：弗里德里希斯和伊格尔使用进