9、不确定性采样：原理、算法与实现

不确定性采样：原理、算法与实现

1. 获取更准确置信度的方法

在机器学习中，为了让模型的置信度更准确，常见的做法是利用验证数据集调整softmax的底数（温度），使概率分布尽可能与实际准确率相匹配。例如，调整softmax的底数，让置信度为0.7的预测在70%的情况下是正确的。

另一种更强大的方法是使用局部回归方法（如LOESS），将概率分布映射到验证数据的实际准确率上。大多数统计软件包都提供了一种或多种局部回归方法供我们尝试。

不过，如果只是为了进行主动学习而对最不确定的样本进行采样，概率分布是否准确反映准确率可能就不那么重要了。具体的选择取决于我们的目标，了解所有可用的技术会对我们有所帮助。

2. 评估主动学习的成功

评估主动学习的成功可以使用像F分数和AUC这样的准确率指标，这对于有算法背景的人来说应该很熟悉。

但有时候，考虑人力成本更有意义。例如，我们可以比较两种主动学习策略，看达到某个准确率目标分别需要多少人工标注。这种比较的结果可能与使用相同数量的标注来比较准确率有很大差异，所以计算这两种情况都很有用。

如果不将样本放回训练数据，即不实现完整的主动学习循环，那么单纯根据不确定性采样找出的错误预测数量来评估会更合适。也就是说，当我们采样出N个最不确定的样本时，模型对这些样本的错误预测比例是多少？

关于以人类为中心的质量评估方法，如标注数据所需的时间等，这里暂不展开，后续会有更详细的模型性能评估方法介绍。

3. 不确定性采样算法概述

在了解了模型预测置信度的来源后，我们可以思考如何解读概率分布，找出机器学习模型最不确定的地方。