12、机器学习中的不确定性采样与多样性采样

机器学习中的不确定性采样与多样性采样

1. 不确定性采样

1.1 进一步阅读建议

不确定性采样已经存在很长时间，有许多相关的优秀文献。若想了解最前沿的研究，可以查找那些被频繁引用的近期论文。需要注意的是，大多数论文并未将分数归一化到 [0, 1] 范围。若要将模型应用于实际场景，强烈建议对输出进行归一化。即便归一化不会改变模型的准确性，但能使抽查更便捷，还能避免下游处理出现问题，尤其对于后续会学到的高级方法而言。

以下是不同类型不确定性采样的早期优秀论文：
| 采样类型 | 论文名称 | 链接 |
| — | — | — |
| 最小置信度采样 | “Reducing labeling effort for structured prediction tasks” | http://mng.bz/opYj |
| 置信度边际采样 | “Active Hidden Markov Models for Information Extraction” | http://mng.bz/nMO8 |
| 置信度比率采样 | 暂无相关论文，但该方法与置信度边际采样类似 | 无 |
| 基于熵的采样 | “Committee-Based Sampling For Training Probabilistic Classifiers” | http://mng.bz/vzWq |
| 其他机器学习模型 | “A Sequential Algorithm for Training Text Classifiers” | http://mng.bz/4ZQg |
| 基于集成的不确定性采样 | “Deep Bayes