17、分类中的特征设计与交叉验证方法

分类中的特征设计与交叉验证方法

1. 多类分类方法

1.1 一对多（One-versus-all）多类分类

一对多（OvA）方法将多类分类问题分解为 C 个二分类子问题。对于每个子问题，将某一类标记为 +1，其余类标记为 -1。具体步骤如下：
1. 特征转换 ：选择一种特征基类型，将每个输入点 $x_p$ 转换为长度为 $M_c$ 的特征向量 $f^{(c)} p$。
2. 模型训练 ：针对每个子问题，求解相应的二分类问题，得到参数 $(b_c, w_c, \epsilon_c)$。
3. 类别判定 ：对于一个新的点 $x$，通过以下公式确定其类别：
[y = \arg\max {j=1…C} {b_j + (f^{(j)}_p)^T w_j}]

例如，在处理包含 3 个类别的数据集时，对于第一个数据集，每个子问题使用 4 次多项式；对于第二个数据集，所有子问题使用 2 次多项式。尽管第二个数据集中某个子问题的分类器表现较差，但最终的组合分类器仍能完美分离所有类别。

1.2 多类 Softmax 分类

多类 Softmax 分类通过单个固定或神经网络特征基对所有输入数据进行转换，然后最小化多类 Softmax 成本函数。具体步骤如下：
1. 特征转换 ：将输入数据 $x_p$ 转换为长度为 $M$ 的特征向量 $f_p$。
2. 成本函数最小化 ：最小化以下多类 S