18、特征提取与聚类技术详解

特征提取与聚类技术详解

1. 特征选择与提取

在特征选择过程中，我们假设特征集 $F_{m - 1}$ 能实现与 $F_m$ 相同的泛化能力。为了加速从 $F_{m - 1}$ 中选择特征，我们认为满足 $R_m^i < R_m$ 的特征对于分类是不可或缺的，不能删除。因此，我们将待删除的特征集设为 $S_{m - 1} = {i | R_m^i \geq R_m, i \neq k}$。若 $S_{m - 1}$ 为空，则停止删除特征；若不为空，则迭代执行前面的反向选择过程。

我们使用部分数据集对该方法进行了评估，通过五折交叉验证估计给定核在不同 $C$ 值下的泛化能力，结果如下表所示：
| 数据 | 删除的特征 | C | 验证集识别率(%) | 测试集识别率(%) |
| — | — | — | — | — |
| 鸢尾花 | 无 | 5000 | 94.67 | 93.33 |
| 鸢尾花 | 3 | 500 | 96.00 (99.00) | 96.00 (98.67) |
| 鸢尾花 | 3, 1 | 5000 | 94.67 | 96.00 |
| 鸢尾花 | 3, 4 | 5000 | 94.67 | 93.33 |
| 数字 | 无 | 1 | 99.51 (99.97) | 99.63 |
| 数字 | 4 | 1 | 99.75 | 99.63 |
| 数字 | 4, 10 | 1 | 99.75 | 99.76 |
| 数字 | 4, 10, 3 | 1 | 99.63 | 99.63 |
| 数字 | 4, 10, 3, 12 | 1 | 99.51 (99.