14、基于聚类的采样：提升数据多样性与采样效率

基于聚类的采样：提升数据多样性与采样效率

1. 基于模型的异常值采样的局限性

使用模型进行异常值采样存在一些主要缺点，总结如下：
- 缺乏多样性 ：该方法可能生成相似的异常值，导致在主动学习迭代中缺乏多样性。
- 统计偏差 ：难以避免模型中固有的统计偏差，可能会持续错过某些类型的异常值。
- 不适合冷启动 ：在开始之前需要一个模型，并且随着训练数据的增加，这种方法的效果会更好，因此基于模型的异常值采样不适合冷启动。
- 采样错误 ：使用未标记数据来确定异常值，容易意外采样到与我们想要的相反的内容，即看起来最不像我们试图用新标签适应的数据。为了解决这个问题，我们使用验证数据来进行排名。

由于第二、三、四个问题较难克服，因此在采样基于模型的异常值时，应同时考虑使用其他多样性采样方法，如聚类。

2. 基于聚类的采样

聚类可以从一开始就帮助我们选择多样化的数据。其策略很简单：不随机采样训练数据，而是将数据分成大量的簇，并从每个簇中均匀采样。

以新闻标题为例，如果随机采样数据进行人工审核，可能会花费大量时间手动标注关于体育比赛结果的相似标题。但如果对数据进行预聚类，这些标题可能会被归为一个簇，我们只需标注该簇中的少数示例，从而节省时间，并将时间用于标注其他簇中的数据，这些簇可能代表更罕见但重要的标题类型。

聚类是现实世界机器学习中最常用的多样性采样方法。我们通常使用无监督学习中的 k - 均值聚类算法，不过这里我们使用聚类结果来采样供人工