错误标注太多，不想人工检查？试试置信学习来自动找错

原创最新推荐文章于 2026-03-29 09:06:41 发布 3k 阅读 AI写同款

收录于

数据集解读

OpenDataLab

码龄4年墨衍会员 · AI 创作全网分发

636粉丝135篇原创

关注

【手把手】如何使用置信学习cleanlab对数据集进行去噪前言在做一个项目的时候，发现数据集噪声非常多，项目是是一个文本分类问题，但是数据集中经常出现 label 错误的情况，也就是所谓的 label noise问题，在这样的数据集对模型进行训练效果非常差。关于label noise感兴趣可以看 Noisy Label 20 篇论文纵览，也是一个研究的热门方向，且对于工业界意义很大。笔者在经过一些相关的调研之后，从实现难度，教程数量，原理理解这些方面角度，最终选取置信学习这种方式对数据集合进行去噪 置信学习相关介绍那什么是置信学习呢？这个概念来自一阅读详情

AI摘要

本文介绍一种名为置信学习的方法，用于识别数据集中的错误标签。通过实验展示如何使用cleanlab库在MNIST数据集上应用置信学习，提高模型精度。

众所周知，在机器学习中，测试集是我们用来衡量模型性能的基准。但是，在实际工作中，我们或许会遇到这样一个问题，那就是不论用何种手段获取到的标注数据，都或多或少存在一些标注错误，这对模型精度的提升是一个不可忽视的问题。

在早前的一篇论文中，麻省理工 CSAIL 和亚马逊的研究者对 10 个主流机器学习数据集展开了研究[1]，结果发现平均有3.3%的数据标注错了，ImageNet，CIFAR100等知名数据集的错误率竟接近6%。

图一主流数据集的错误案例

图二主流数据集的错误情况

因此，如何快速便捷的从数据集中找到错误或者疑似错误的样本，成为一件很重要的事情。

本文介绍了一种采用置信学习的方式来寻找错误样本的方法[2]，并选择MNIST数据集进行了实验，介绍了采用置信学习方法来寻找错误样本的主要流程，下面是详细的内容。

一、方法介绍

NO.1

何为置信学习

置信学习的概念来自一篇由MIT和Google联合提出的Paper：Confident Learning: Estimating Uncertainty in Dataset Labels[2] 。论文提出的置信学习（confident learning，CL）是一种新兴的、具有原则性的框架，可用于识别标签错误、表征标签噪声并应用于带噪学习（noisy label learning）。

置信学习具有以下优点：

● 可直接估计噪声标签与真实标签的联合分布，具有理论合理性；

● 不需要超参数，只需使用交叉验证来获得样本的预测概率；

● 不需要做随机均匀的标签噪声的假设（这种假设在实践中通常不现实）；

● 与模型无关，可以使用任意模型，不像众多带噪学习与模型和训练过程强耦合；

● 作者开源了置信学习的工具包cleanlab，一行代码调用，方便快捷；

NO.2

置信学习的流程

置信学习包含三个主要步骤：

● Count：估计噪声标签和真实标签的联合分布；

● Clean：根据联合分布找出噪声样本；

● Re-Training：过滤噪声样本后，重新训练；

在Count阶段，首先进行交叉验证（交叉验证的流程如图三所示），得到所有样本的预测概率，然后统计每个人工标定类别的平均概率作为置信度阈值，如公式一所示；

然后计算每个样本的预测类（预测概率最大的那个类，且该概率大于该类的置信度阈值）如公式二所示；

接着统计预测类别和给定类别之间的计数矩阵（类似混淆矩阵），如公式三所示；

最后标定计数矩阵，让计数矩阵的总和与数据总量相同，并进行归一化，得到预测标签和给定标签的联合分布，如公式四所示。

图三交叉验证示意图

公式一

公式二

公式三

公式四

上述公式中出现的变量含义如下所示：

	判断预测结果是否为j类别的置信度阈值
	给定的标签（原始标签，可能带噪声）
	预测的标签，这里作为真实标签
	样本空间
	单个样本
	预测模型的参数
	预测概率
	给定标签和预测标签的统计矩阵
	给定标签和预测标签的联合分布矩阵

在Clean阶段，有5种方法进行噪声标签的筛选：

1. 过滤预测类别和人工标记的类别不一致的数据；

2. 过滤计数矩阵中非对角单元的样本；

3. 对于类别c，选取N*p个样本过滤，其中的N是给定类别为c的样本总数，p是联合分布矩阵中除Q(c,c)之外的概率和；

4. 对于计数矩阵非对角单元，选取N*p个样本过滤，其中N是总样本数，p是联合分布矩阵中计数矩阵的单元对应的概率；

5. 方法3与方法4结合；

其中方法2是作者从理论分析认为比较合理的方法，不过同时作者也进行了实验，5种方法之间的结果差异很小。

把上面的过程用一张图来表示，如图四所示：

图四置信学习流程示意图

NO.3

置信学习的效果

论文作者做了大量消融实现来验证置信学习的效果，这里我们只看置信学习在实际数据集中作用，图五是作者在ImageNet（ILSVRC 2012）数据集上进行置信学习所取得的结果：

图五 ILSVRC 2012数据集上置信学习的结果

图五中(a)可见通过置信学习筛选掉噪声标签之后,（对比随机去除样本）精度最多提升了0.6个百分点，对照(b)(c)(d)组实验可以看到，数据集本身包含的错误标签越多，置信学习提升的效果越明显。

二、实际操作

置信学习的作者开源了其代码库cleanlab，只需要一条命令即可安装pip install cleanlab，我们在MNIST上进行了尝试，来介绍置信学习的实际操作过程的详细步骤。代码主要包含以下几个部分：

NO.1

参数定义

import numpy as np
import torch
import warnings

SEED = 123
np.random.seed(SEED)
torch.manual_seed(SEED)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.cuda.manual_seed_all(SEED)
warnings.filterwarnings("ignore", "Lazy modules are a new feature.*")

NO.2

导入数据集

from sklearn.datasets import fetch_openml
mnist = fetch_openml("mnist_784")  # 获取 MNIST 数据集

X = mnist.data.astype("float32") # 二维数组
X /= 255.0  # 将图片像素值归一化到0~1
X = X.reshape(len(X), 1, 28, 28)  # 改变图片尺寸为 [N, C, H, W] 

y = mnist.target.astype("int64")  # 一维标签
print(X.shape, y.shape)

这里打印数据的尺寸如下图所示，其中70000为图片数量，1为通道数（即灰度图片），28*28为图片的分辨率大小：

NO.3

定义分类模型


from torch import nn

class ClassifierModule(nn.Module):
    def __init__(self):
        super().__init__()

        self.cnn = nn.Sequential(
            nn.Conv2d(1, 6, 3),
            nn.ReLU(),
            nn.BatchNorm2d(6),
            nn.MaxPool2d(kernel_size=2, stride=2),
            nn.Conv2d(6, 16, 3),
            nn.ReLU(),
            nn.BatchNorm2d(16),
            nn.MaxPool2d(kernel_size=2, stride=2),
        )
        self.out = nn.Sequential(
            nn.Flatten(),
            nn.Linear(400, 128),
            nn.ReLU(),
            nn.Linear(128, 10),
            nn.Softmax(dim=-1),
        )

    def forward(self, X):
        X = self.cnn(X)
        X = self.out(X)
        return X


from skorch import NeuralNetClassifier
model_skorch = NeuralNetClassifier(ClassifierModule)

由于MNIST数据集相对简单，这里用pytorch定义了一个简单的两层卷积层+两层全连接层的分类网络，并采用skorch进行了包装，以方便后续利用sklearn进行调用。

NO.4

K重交叉验证


from sklearn.model_selection import cross_val_predict

num_crossval_folds = 3 
pred_probs = cross_val_predict(
    model_skorch,
    X,
    y,
    cv=num_crossval_folds,
    method="predict_proba",
)

这里设置了K=3，交叉训练的结果如下图，其中pred_probs便是后续置信学习所需要的预测概率。

NO.5

交叉训练的整体精度

from sklearn.metrics import accuracy_score

predicted_labels = pred_probs.argmax(axis=1)
acc = accuracy_score(y, predicted_labels)
print(f"Cross-validated estimate of accuracy on held-out data: {acc}")

结果如下：

这个结果将会和去除噪声标签后的结果进行对比。

NO.6

通过cleanlab库寻找噪声标签

from cleanlab.filter import find_label_issues

ranked_label_issues = find_label_issues(
    y,
    pred_probs,
    return_indices_ranked_by="self_confidence",
)            
#可以通过输入filter_by参数选择筛选方法，默认选择的是方法一，其他一些细节也可以进行调整

print(f"Cleanlab found {len(ranked_label_issues)} label issues.")
print(f"Top 15 most likely label errors: \n {ranked_label_issues[:15]}")

结果返回了噪声数据的索引列表，这里cleanlab一共找到127个标签错误，其中错误概率排在前15位的错误标签的索引如下所示：

NO.7

对一些结果进行可视化


import matplotlib.pyplot as plt

def plot_examples(id_iter, nrows=1, ncols=1):
    plt.figure(figsize=(12,8))
    for count, id in enumerate(id_iter):
        plt.subplot(nrows, ncols, count + 1)
        plt.imshow(X[id].reshape(28, 28), cmap="gray")
        plt.title(f"id: {id} \n label: {y[id]}")
        plt.axis("off")

    plt.tight_layout(h_pad=5.0)
    
plot_examples(ranked_label_issues[range(50)], 5, 10)

这里展示了前50个有问题的样本，如下所示：

可以看到，其中多半都是确实错误或者有歧义的标签，其他标签也包含了一些书写不规范的情况。

NO.8

去掉噪声标签后re-training

clean_X = np.delete(X, list(ranked_label_issues), 0)
clean_y = np.delete(y, list(ranked_label_issues), 0)
print(clean_X.shape, clean_y.shape)

clean_pred_probs = cross_val_predict(
    model_skorch,
    clean_X,
    clean_y,
    cv=num_crossval_folds,
    method="predict_proba",
)
clean_predicted_labels = clean_pred_probs.argmax(axis=1)
clean_acc = accuracy_score(clean_y, clean_predicted_labels)
print(f"Cross-validated estimate of accuracy on held-out data: {clean_acc}")

去除噪声标签后，数据的尺寸如下图，对比原始数据少了127条数据。

最终的精度如下：

对比前面的精度0.9766，可见精度只有轻微的提升，这是因为MNIST整体70000张图片中去除127条，影响较为轻微，结合论文可以知道MNIST的整体错误率相对较低，如果在面对错误标签较多的数据集时，置信学习应该能有更好的发挥。

NO.9

补充实验

由于上面精度提升不是很明显，考虑到MNIST全部图片有70000张，127张噪声图片的影响较低，所以进行了补充实验，从MNIST数据集中挑选一部分（部分干净数据+127张噪声数据），测试噪声率稍微大一些的数据集上，cleanlab的效果。

● 准备数据集

前面cleanlab找出了127张噪声图片，这里让新数据集的噪声率维持在5%（考虑到找出的127张图片不都是错误图片，实际噪声率应该会低于5%），图片总数应该为127*20张，且其中有127张噪声图片，构造代码如下所示：

import random
small_Num = 127*20
small_clean_index = random.sample(list(range(clean_X.shape[0])), small_Num-len(ranked_label_issues))
#新数据集由127张噪声数据和（2540-127）张干净数据组成
small_X = np.concatenate([clean_X[small_clean_index], X[ranked_label_issues]])
small_y = np.concatenate([clean_y[small_clean_index], y[ranked_label_issues]])

#打乱组合后的数据集
random_index = list(range(small_X.shape[0]))
random.shuffle(random_index)
small_X = small_X[random_index]
small_y = small_y[random_index]
print(small_X.shape, small_y.shape)

这里得到新的数据集维度如下，数据量降到了2540，其他不变：

● 交叉验证

model_skorch = NeuralNetClassifier(ClassifierModule)
num_crossval_folds = 3  
pred_probs = cross_val_predict(
    model_skorch,
    small_X,
    small_y,
    cv=num_crossval_folds,
    method="predict_proba",
)
predicted_labels = pred_probs.argmax(axis=1)
acc = accuracy_score(small_y, predicted_labels)
print("=============================================================")
print(f"Cross-validated estimate of accuracy on held-out data: {acc}")

交叉训练的过程和最终精度如下：

可以看到，随着噪声数据的比例变大以及数据量的变小，交叉验证的精度只有0.8236。

● cleanlab寻找噪声标签

重新在小数据集上进行置信学习：


ranked_label_issues = find_label_issues(
    small_y,
    pred_probs,
    return_indices_ranked_by="self_confidence",
)
print(f"Cleanlab found {len(ranked_label_issues)} label issues.")
print(f"Top 15 most likely label errors: \n {ranked_label_issues[:15]}")

这次的寻找结果如下所示：

由于数据集整体发生了改变，找到的噪声数据也有所改变，这一次找到了101张噪声图片。

● re-training

去掉101张噪声数据后重新训练：

small_clean_X = np.delete(small_X, list(ranked_label_issues), 0)
small_clean_y = np.delete(small_y, list(ranked_label_issues), 0)
print(small_clean_X.shape, small_clean_y.shape)

clean_small_pred_probs = cross_val_predict(
    model_skorch,
    small_clean_X,
    small_clean_y,
    cv=num_crossval_folds,
    method="predict_proba",
)
clean_small_predicted_labels = clean_small_pred_probs.argmax(axis=1)
clean_small_acc = accuracy_score(small_clean_y, clean_small_predicted_labels)
print(f"Cross-validated estimate of accuracy on held-out data: {clean_small_acc}")

重新交叉验证的精度如下：

去除101个噪声数据后，精度来到了0.8396，对比0.8236，精度提升了1.6个百分点，可见在数据集噪声率5%左右时，置信学习能发挥比较明显的作用。

三、后记

本文介绍了利用置信学习的基本流程，并针对MNIST数据集尝试了cleanlab的使用，希望能帮助读者理解置信学习的原理和实际使用流程。后续也会继续推出其他寻找噪声标签的方法，并尝试在目标检测数据集上进行实验。

参考文献

[1] C. G. Northcutt, L. Jiang, and I. Chuang. Confident learning: Estimating uncertainty in dataset labels. Journal of Artificial Intelligence Research, 70:1373–1411, 2021.

[2] C. G. Northcutt, Anish Athalye, and Jonas Mueller. Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks, arXiv:2103.14749v4. 2021.

更多数据集上架动态、更全面的数据集内容解读、最牛大佬在线答疑、最活跃的同行圈子……欢迎添加微信opendatalab_yunying 加入OpenDataLab官方交流群。

标签

#学习 #机器学习 #人工智能