17、主动学习中的多样性采样与高级策略

主动学习中的多样性采样与高级策略

在机器学习领域，多样性采样和不确定性采样是提升模型性能和公平性的重要方法。本文将介绍多样性采样的常见方法，以及如何将不确定性采样和多样性采样相结合，形成更全面的主动学习策略。

多样性采样方法

多样性采样有四种常见方法，这些方法有助于我们理解模型中的“未知未知”。
1. 基于模型的异常值采样 ：该方法允许我们采样当前模型未知的项目，帮助扩展模型在现有知识空白处的认知。
2. 基于聚类的采样 ：此方法能让我们采样具有数据整体分布统计代表性的项目，帮助模型捕捉数据中的所有有意义趋势，包括随机采样可能遗漏的罕见趋势。
3. 代表性采样 ：可用于采样最能代表模型部署环境的项目，帮助模型适应与当前训练数据不同的领域，这在实际机器学习应用中是常见问题。
4. 支持现实世界多样性的采样 ：为支持现实世界的多样性，需要运用不确定性采样和多样性采样的所有技术，使应用在不同用户群体中更准确、更公平。可以通过在现实世界人口统计数据上应用微观和宏观 F 分数等准确性指标，来衡量模型中的潜在偏差。同时，解释神经网络模型的各层进行多样性采样，能为主动学习获取尽可能多的信息，为高级迁移学习技术提供基础。

在实施多样性采样时，确定人类审查项目数量的策略与不确定性采样不同，因为在某些情况下，它们可以在主动学习的每次迭代中自适应调整。自适应采样方法使人工参与的机器学习反馈循环更高效，因为无需等待模型重新训练。而且，任何监督机器学习算法，包括神经网络模型、贝叶斯模型、支持向量机和决策树，都可以实施