41、分类、聚类与决策边界技术解析

分类、聚类与决策边界技术解析

在分类和聚类的领域中，有许多关键的技术和策略值得我们深入探讨。下面将详细介绍一些重要的方法和概念。

1. 持续训练策略与 kNN 分类器

在分类任务中，持续训练可以通过选择性地增加密度来以较低成本实现。其策略基于特征空间中并非处处都需要相同精度这一观察。当样本分类以一致投票确定时，它会被纳入训练数据库，但标记为被动样本（如图 12.13a 所示）。kNN 分类器仅使用主动训练样本，此策略会增加类之间决策边界处的采样密度，因为在这些边界处投票很少是一致的。并且，在新样本添加到主动训练数据库后，需要不时审查被动样本。

由于 kNN 分类器使用距离度量来计算类的投票数，在计算最近邻之前，可能需要用特征值的标准差对其进行归一化。不过，如果特征值的高方差表明该特征更重要，则不应进行归一化。

基于特征值的分类可能不可靠，具体情况如下：
- 数据值太小。
- 投票差异太小。
- 样本离训练数据中的任何已分类样本太远。

这种可靠性可以被测量，如果可靠性太低，样本可能会被拒绝。此外，投票也可以根据与样本的距离进行加权，这样当样本离任何已分类样本太远时，可靠性会自动降低（如图 12.13b 所示）。

2. 决策边界概述

决策边界是分类中的一个重要概念。我们已经知道，后验概率的估计在决策边界处必须最准确。实际上，如果存在一种方法能确定未知样本的特征向量位于决策边界的哪一侧，那么仅决策边界（即至少两个类的后验概率相等的曲线）就足够了。

大多数讨论将基于所谓的两类问题（即将未知样本分配到两个类之一），并在适当的时候讨论扩展到多个类的情况。下面介