人机协作机器学习入门:模型预测解析与数据标注界面搭建
在机器学习领域,特别是监督学习中,理解模型预测结果和数据对于主动学习至关重要。同时,构建合适的人机交互界面来获取准确的人工标注数据也是关键环节。下面将详细介绍相关内容。
1. 解析模型预测与数据以支持主动学习
几乎所有监督式机器学习模型都会给出两个关键信息:预测标签(或一组预测结果)以及与每个预测标签相关联的数值。这些数值通常被视为预测的置信度,但具体的可靠性取决于其生成方式。
例如,对于一条可能与灾难相关的消息,模型预测结果如下:
{
"Object": {
"Label": "Not Disaster-Related",
"Scores": {
"Disaster-Related": 0.475524352,
"Not Disaster-Related": 0.524475648
}
}
}
在监督学习的其他场景中,人们通常更关注预测标签是否正确以及模型在大规模测试数据集上的整体准确率。但在主动学习中,与预测相关的数值往往更为重要。在上述示例中,预测为“Not Disaster-Related”的置信度为 0.524,这意味着系统有 52.4% 的把握认为该预测是正确的。从任务角度来看,由于仍有较高概率该消息与灾难相关,因此可能需要人工审核结果。若确实与灾难相关,就应将其添加到训练数据中,以避免遗漏类似情况。
1.1 置信度排序
假设有另一条消息的预测结果
超级会员免费看
订阅专栏 解锁全文
1098

被折叠的 条评论
为什么被折叠?



