本文介绍了置信学习的概念和优势，它能自动发现深度学习训练数据中的错误标注。通过开源工具cleanlab，可以在几分钟内找出如ImageNet这样的大型数据集中的错误样本。置信学习包含估计噪声标签和真实标签的联合分布、找出并过滤错误样本、重新训练三个步骤，有效应对数据清洗问题。
前言
在实际工作中，你是否遇到过这样一个问题或痛点：无论是通过哪种方式获取的标注数据，数据标注质量可能不过关，存在一些错误？亦或者是数据标注的标准不统一、存在一些歧义？特别是badcase反馈回来，发现训练集标注的居然和badcase一样？如下图所示，QuickDraw、MNIST和Amazon Reviews数据集中就存在错误标注。
为了快速迭代，大家是不是常常直接人工去清洗这些“脏数据”？但数据规模上来了咋整？有没有一种方法能够自动找出哪些错误标注的样本呢？基于此，本文尝试提供一种可能的解决方案——置信学习。
本文的组织架构是：
01置信学习的定义
那什么是置信学习呢？这个概念来自一篇由MIT和Google联合提出的paper：《Confident Learning: Estimating Unc
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
