【图像分类】 标签噪声对分类性能会有什么样的影响？

不同类型的噪声会对模型的分类性能产生什么样的影响呢，让我们一同进行实验，来探索那暗中作祟的标签噪声！

作者&编辑 | 郭冰洋

1 简介

在数据集制作过程中，由于主观、客观的原因，会导致标签噪声的出现，其存在会对最终的分类模型性能造成一定的影响。因此，在实际应用过程中，总是要对现有的数据集进行清洗，以避免标签噪声的干扰。

常见的标签噪声包括跨类别噪声和随机噪声两种。跨类别噪声是指属于数据集某一确定类别的图片，被误分至属于数据集的另一确定类别。随机噪声是指属于数据集某一确定类别的图片中，有大量与类别标签不相关的图片，同时这些图片不属于数据集中的任何一类。

本篇文章我们将以Cifar 10、Cifar 100数据集作为实验数据，对标签噪声进行探究，以测试不同类型、不同比例的噪声对分类模型的影响。

2 实验记录

2.1 无标签噪声的训练结果

首先我们通过构建最基本的CNN网络对两个数据进行分类，在正常图片且无标签噪声的情况下，Cifar 10和Cifar 100分别取得了89.2%和65.8%的准确率，以此作为基础结果，我们将分别添加不同的噪声进行对比。

2.2 含标签噪声的训练结果

通过设置不同的噪声类别和比例，对其进行训练后我们得出相应的准确率，可以发现随着噪声比例的增加，分类模型的准确率会受到相应的影响，跨类噪声的影响明显更大。

对比实验的结果告诉我们，标签噪声的存在会对模型产生一定的影响，这一影响在数据集容量相对较少时会更加明显，这是目前急需解决的一个问题。

3 解决方案

3.1 混淆矩阵推理

为了减少噪声的影响，最直接的方法是人工对数据集中的错误标签进行一一筛选，但这样会耗费大量的人力和时间，并非最可取的方法。

在评价分类模型的准确率时，我们往往会通过分析混淆矩阵以查看不同类别的预测结果，通过混淆矩阵我们可以得到每个类别预测正确和错误的个数，近似的认为预测错误的类别属于跨类标签噪声。

在跨类噪声比例20%的情况下，我们得出相应的混淆矩阵结果如上表所示，可以看出每个类别中均有预测错误的样本出现。

针对这些错误的预测样本，随机将其划入其他类别，并进行重新训练，若混淆矩阵的预测结果可以得到进一步的提升，则保留图像至该正确样本。

通过3次的迭代训练，我们对模型的结果进行重新评估，可以发现其准确率得到的非常大的提升。

3.2 数据统计分析

除了上述根据混淆矩阵的结果进行迭代修正的方法，目前主流的方法还包括数据统计分析，即通过对现有的图像数据进行相应的预处理，借助回归分析、分箱分析等传统的机器学习算法，事先剔除不属于某一类别的图像，然后进行训练。随后再对剔除的图像进行测试，得到对应的预测类别后重新划分数据集，再进行重新训练。

总结

迭代训练的方式可以减少人工修改标签的时间，但同样会消耗一定的训练时间，目前还没有一个完全高效妥善的方式可以解决这一问题，因此还需要各位去发掘更多更有效的算法去解决这一问题。

有三AI夏季划

有三AI夏季划进行中，欢迎了解并加入，系统性成长为中级CV算法工程师。

转载文章请后台联系

侵权必究

往期精选