9、不确定性采样：原理、算法与应用

不确定性采样：原理、算法与应用

1. 提升模型置信度的方法

在机器学习中，为了让模型的置信度更准确，常见的做法是利用验证数据集来调整softmax的底数或温度，使概率分布尽可能接近实际准确率。例如，调整softmax的底数或温度，让置信度为0.7的预测在70%的情况下是正确的。另外，还可以使用局部回归方法（如LOESS）将概率分布映射到验证数据的实际准确率上，大多数统计包都提供了这类局部回归方法供我们尝试。

不过，如果只是为了进行主动学习而对最不确定的样本进行采样，概率分布是否准确反映准确率可能就没那么重要了。具体选择哪种方法，取决于我们的目标，了解所有可用的技术会对我们的决策有所帮助。

2. 评估主动学习的成功与否

评估主动学习的效果可以使用准确率指标，如F分数和AUC，这对于有算法背景的人来说应该很熟悉。但有时候，考虑人力成本更有意义。比如，我们可以比较两种主动学习策略，看达到某个准确率目标分别需要多少人工标注。这种比较结果可能与使用相同数量标注时的准确率比较结果有很大差异，所以计算两者都很有用。

如果不将样本放回训练数据，即不执行完整的主动学习循环，那么单纯根据不确定性采样找出的错误预测数量来评估会更合适。也就是说，当我们采样出N个最不确定的样本时，模型对这些样本的错误预测比例是多少？

关于以人类为中心的质量评估方法，如数据标注所需的时间等，可以参考相关资料，其中会详细介绍衡量模型性能的方法。

3. 不确定性采样算法概述

现在我们已经了解了模型预测置信度的来源，接下来可以思考如何解读概率分布，找出机器学习模型最不确定的地方。

不确定性采样是一种用于