14、基于聚类的采样：多样化数据采样策略解析

基于聚类的采样：多样化数据采样策略解析

1. 基于模型的异常值采样的局限性

使用模型进行异常值采样存在一些主要缺点，具体如下：
- 缺乏多样性 ：该方法可能生成相似的异常值，导致在主动学习迭代中缺乏多样性。
- 统计偏差 ：难以避免模型中固有的统计偏差，可能会持续错过某些类型的异常值。
- 不适合冷启动 ：在开始之前需要一个模型，并且该方法随着训练数据的增加效果更好，因此不适合冷启动。
- 意外采样 ：使用未标记数据确定异常值时，容易意外采样到与预期相反的数据，即看起来最不像我们试图用新标签适应的数据。为了避免这种情况，我们使用验证数据进行排名。

2. 基于聚类的采样

聚类可以从一开始就帮助我们有针对性地选择多样化的数据。其策略很简单：不直接随机采样训练数据，而是先将数据分成大量的簇，然后从每个簇中均匀采样。

例如，在新闻标题数据中，有大量关于澳大利亚当地体育队的文章。如果随机采样数据进行人工审核，会花费大量时间手动标注关于体育比赛结果的相似标题。但如果对数据进行预聚类，这些标题可能会聚集在一个簇中，我们只需标注该体育相关簇中的少数示例，节省的时间可以用于标注其他簇的数据，这些簇可能代表更罕见但重要的标题类型，随机采样可能会错过这些类型。所以，聚类既节省了时间，又增加了数据的多样性。

聚类是现实世界机器学习中最常用的多样化采样方法。在主动学习中，我们使用聚类算法将数据分成簇，然后从这些簇中采样项目进行人工审核和标注。

3. 簇