7、机器学习中的分类器优化与线性分类器原理

机器学习中的分类器优化与线性分类器原理

1. 去除冗余示例与Tomek链接

在机器学习中，训练集里有些示例虽不会对分类性能产生负面影响，但会增加计算成本，因此需要去除冗余示例。同时，Tomek链接的去除也能提升数据质量。
- Tomek链接 ：Tomek链接是指训练集中，两个不同类别的示例互为最近邻。通过去除Tomek链接，有时能让1 - NN分类器达到使用原始完整训练集的k - NN分类器的性能。不过，该技术也有局限性，它不能识别所有有误导性的示例，且可能会误删一些“无辜”的示例。工程师在两种特定情况下需谨慎使用：训练集非常小，以及某一类别的示例数量远多于另一类别。
- 去除冗余示例的好处 ：在大规模训练集里，寻找最近邻的计算量巨大。例如，在一个有$10^6$个训练示例且每个示例由$10^4$个属性描述的领域中，依靠欧几里得距离的程序需进行$10^6 \times 10^4 = 10^{10}$次算术运算。若要一次性对数千个对象进行分类，算术运算次数将达到$10^{10} \times 10^3 = 10^{13}$次。而训练集往往存在冗余，删除部分示例不会改变k - NN分类器的行为，从而降低计算成本。

2. 创建一致子集

为减少冗余，可将训练集T替换为其一致子集S。若用S替换T不影响k - NN分类器返回的类别标签，则称S是T的一致子集。实际操作中，若对于任意$ex \in T$，无论k - NN分类器使用$T - {ex}$还是$S - {ex}$，$ex$都能得到相同的标签，那么S就可被视为T的一致子集。
创建一致子集的简单算法步骤如下：
1. 从训练集T中选取一