70、支持向量机训练数据选择与二维主成分分析的统一视角

支持向量机训练数据选择与二维主成分分析的统一视角

1. 支持向量机训练数据选择

支持向量机（SVM）训练时，由于训练复杂度问题，很难使用整个训练集。例如，当 $K = 30$ 时训练需要 80 分钟，$K = 200$ 时则需要 210 分钟。与皮肤数据不同，二维点的人工数据集由于规模较小，可以使用整个数据集进行训练且无分类错误。

对于较小的 $K$ 值，分类错误会出现，但使用遗传算法支持向量机（GASVM）时错误较小。当 $K = 160$ 时，GASVM 消除了分类错误，而随机采样支持向量机（RSVM）在 $K < 320$ 时无法达到这一效果。

选择的训练点没有遵循特定的几何模式，有些位于决策边界附近，有些则位于点群中心，如在 $K = 160$ 的情况中可以明显观察到。

遗传算法选择训练集的优势

• 减少训练集规模 ：在某些情况下，使用遗传算法选择 SVM 训练集有助于减少训练集大小，从而缩短训练和验证时间。
• 提高分类得分 ：对于有噪声或标签错误的数据，该方法可以实现更高的分类得分。
• 与样本总数无关 ：虽然遗传算法过程可能需要多代才能收敛，但它与可用样本总数无关，这是现有基于几何方法所不具备的。
• 提前终止优化 ：经过几代后，就能选出比随机采样更好的训练集，因此如果需要减少训练时间，可以提前终止优化过程。

2. 二维主成分分析及其变体