18、分类中的特征设计与验证方法

分类中的特征设计与验证方法

1. 多分类中的 k 折交叉验证

在多分类问题中，我们可以使用一对多（One-versus-all，OvA）框架结合 k 折交叉验证方法。对于一个 C 类问题，我们将 k 折方法应用于 C 个二分类子问题，并根据公式（6.21）组合得到的分类器。

1.1 示例展示

• C = 3 类数据集 ：图 6.15 展示了对 C = 3 类数据集进行 k = 3 折交叉验证的结果。左三幅图分别显示了红色类与其他类、蓝色类与其他类、绿色类与其他类的子问题结果。对于红色/绿色与其他类的问题，最优次数为 (D^⋆ = 2)；对于蓝色与其他类的问题，最优次数为 (D^⋆ = 4)。右图显示了由公式（6.21）确定的组合边界，它能完美分离三个类。
• C = 5 类数据集 ：图 6.16 展示了对重叠的 C = 5 类分类数据集进行 k = 3 折交叉验证的结果。中间四幅图分别显示了红色、蓝色、绿色和黄色类与其他类的子问题结果。底部两幅图分别显示了紫色类与其他类以及最终的组合边界。对于红色/紫色与其他类的问题，k 折找到的次数为 (D^⋆ = 1)；对于其余子问题，(D^⋆ = 2)。

1.2 效果总结

在这两个实例中，组合边界都能很好地分离不同类别的数据。

以下是 OvA 结合 k 折交叉验证的步骤：
1. 将 C 类问题拆分为 C 个二分类子问题。
2. 对每个二分类子问题应用 k 折交叉验证。
3. 根据公式（6.21）组合得到的分类器。