Learning From Noisy Labels with Deep Neural Networks: A survey

已于 2023-12-10 05:36:23 修改
阅读量1.2k 收藏 16
点赞数 16
CC 4.0 BY-SA版权
文章标签： 深度学习 机器学习 人工智能
于 2023-12-09 04:53:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HitWorkerA/article/details/134885652

这是2020年关于Noisy Label的一篇综述，简要的做一记录。

文章链接：

https://arxiv.org/abs/2007.08199

Background

为什么要解决Noisy Labels的问题?

DNN's can easily fit an entire training dataset with any ratio of corrupted labels, which eventually resulted in poor generalizability on a test dataset.

也就是说，DNN强大的拟合能力导致在有噪声污染数据集上训练的模型，在测试集上的泛化能力变差；

从细节原因来看，有如下几点：

  1. 同其他的Noisy相比(比如input noise)，Label Noise造成的危害更大；
  2. 现有的一些正则化方法，比如data arguments, dropout在解决Label Noisy问题上效果不佳；

该综述的论述范围

Supervised-Learning

Adversarial Learning:

Data imputation:

Feature Noise

前言Preliminaries

Label Noise的分类

  1. Instance-Independent Label Noise: 真实的样本标签已存在，标签的退化过程与数据特征是条件独立的；也就是说，噪声标签由一个transition matrix 转换而来；
    1. Symmetric Noise (Uniform Noise) : 真实标签污染成其他任意标签的概率是相同的，并不依赖于任一标签；
    2. Asymmetric Noise (Label dependent Noise)： 真实标签更容易被污染为一个特定的标签(或者说，真实标签污染为某一个特定标签的概率最大！概率不同）
    3. Pair Noise: 真实标签只能转换为一种特定的标签；
  2. Ins
最低0.47元/天 解锁文章
HitWorkerA
关注
标签噪声：综述 Learning from Noisy Labels with Deep Neural Networks: A Survey
doctor_strange****
09-19 1万+
Learning from Noisy Labels with DNN: Robust architecture, robust regularization, robust loss function, loss adjustment, sample selection
2022-03-04-Label-Noise-Learning
DeepIndeed
03-10 1225
layout comments title categories tags description post true Label Noise Learning blog 自然语言处理 Label Noise Learning L...
Learning from Noisy Labels with Deep Neural Networks: A Survey
weixin_42051034的博客
08-21 2542
Learning from Noisy Labels with Deep Neural Networks: A SurveyRelated SurveysPRELIMINARIESA. Supervised Learning with Noisy LabelsB. Taxonomy of Label NoiseC. Non-deep Learning ApproachesDEEP LEARNING APPROACHESA. Robust Loss FunctionB. Robust Architecture
[论文阅读笔记58]Learning from Noisy Labels with Deep Neural Networks：A Survey
ld326的专栏
08-28 5760
1.题目 Learning from Noisy Labels with Deep Neural Networks: A Survey 作者团队：韩国科学技术院（KAIST） Song H , Kim M , Park D , et al. Learning from Noisy Labels with Deep Neural Networks: A Survey. 2020. 2. 摘要 重述问题：从监督学习的角度来描述使用标签噪声学习的问题； 方法回顾：对57种最先进的鲁棒训练方法进行了全
【Noise-Label】《Learning from Noisy Labels with Deep Neural Networks》
bryant_meng
04-16 4329
arXiv-2014 文章目录1 Background and Motivation2 Advantages3 Innovations4 Method4.1 Bottom-up Noise Model4.2 Estimating Noise Distribution Using Clean Data4.3 Learning Noise Distribution From Noisy Data...
含噪学习 --《Learning from Noisy Labels with Deep Neural Networks: A Survey》
D2461798571的博客
11-19 942
在许多研究中，人们已经对架构进行了更改，以对噪声数据集的噪声转移矩阵进行建模 [16]、[75]–[82]。通过基于估计的标签转移概率修改 DNN 输出，最终架构实现了更好的泛化。专用架构旨在提高对复杂标签噪声的处理能力，特别是比简单标签转移更复杂的噪声类型。假定在给定真实标签的情况下，噪声的产生与数据特征无关：通过噪声转移矩阵T建模，定义。深度学习网络受到噪声标签的影响，拟合时包括噪声标签的特征，导致网络泛化性差。为了解决噪声数据对网络的影响，提出了不同的方法。用于描述真实标签和噪声标签之间的关系。
含噪学习--《Learning from Noisy Labels with Deep Neural Networks: A Survey》——2
D2461798571的博客
11-20 796
接上篇。
【FAS Survey】《Deep learning for face anti-spoofing: A Survey》
bryant_meng
01-31 1417
PAMI-2022最新成果：https://github.com/ZitongYu/DeepFAS。
Noisy label learning
weixin_43702410的博客
08-09 706
Noisy Label Learning 1.f’create_noisy_data’ include cuda : numpy, random, matplotlib, pandas, tensorflow, os, sklearn Functions: class cluster_data_preprocess: visualize_data: showing the distribution of the points we gennernate get_centroids: with the
170904 Training Deep Neural Networks on Noisy Labels with Bootstrapping-Notes(TBC)
专注机器学习之路
09-04 1490
References What is the difference between the detection, recognition and identification of things? A Friendly Introduction to Cross-Entropy Loss The cross-entropy error function in neural networks
Awesome-Noisy-Labels:一项调查
04-16
使用深度神经网络从嘈杂的标签中学习：一项调查 这是一个知识库，可以帮助所有对处理嘈杂标签感兴趣的读者。 我们计划包括所有流行使用的数据（使用数据加载器）和必要的实现方式以进行评估。 如果您的论文缺失或有其他要求，请联系 。 我们将定期更新此存储库和文件以保持最新。 最后更新日期：2021-04-02 引文（.bib） @article{song2020learning, title={Learning from noisy labels with deep neural networks: A survey}, author={Song, Hwanjun and Kim, Minseok and Park, Dongmin and Shin, Yooju and Lee, Jae-Gil}, journal={arXiv preprint arXiv:2007.08199}, yea
《深度学习噪声标签学习》综述论文
07-22
在海量大数据的帮助下，深度学习在许多领域都取得了显著的成功。但是，数据标签的质量是一个问题，因为在许多现实场景中缺乏高质量的标签。
Learning with Noisy Label
weixin_42051034的博客
06-28 2717
Learning with Noisy Label学习记录总结1.1 阅读背景1.2 理论基础类1.2.1 paper: understanding deep learning requires rethinking generalization -- 2017论文解读笔记1.2.2 paper: Convexity, Classification, and Risk Bounds1.3 基于概率模型 estimate noisy label1.3.1 paper: Training deep neural
Deep Self-Learning From Noisy Labels
weixin_44858740的博客
04-10 220
从噪声标签中进行深度自学习
噪声标签学习 (Noise Label Learning)
最新发布
gaesarGatt的博客
12-08 2576
噪声标签学习（Noise Label Learning，NLL）是指在训练机器学习模型时，标签数据存在误标或噪声（如错误的标签），导致模型的训练受到影响的问题。噪声标签问题通常出现在实际应用中，例如在大规模数据集或标注成本高昂的情况下，人工标注可能存在错误或不一致，造成标签噪声。噪声标签学习的目标是设计有效的算法，使得模型在面对标签噪声时，依然能够学习到有用的知识，并提高模型的鲁棒性。
论文116：A noisy-label-learning formulation for immune repertoire classification (IJCAI, 23)
因吉的博客
07-25 831
旨在处理多示例学习 (MIL) 场景下的免疫库分类问题，特别是应对大量噪声标签和极低免疫反应率的挑战。目标是通过设计一种健壮的训练策略，提高序列级分类的准确性，从而实现更精准的免疫库分类和疾病相关序列识别。
论文阅读：Learning from Noisy Labels with Complementary Loss Functions
qq_44622669的博客
11-25 1253
@TOC 整理了文章的关键内容，内容源自Jo-SRC: A Contrastive Approach for Combating Noisy Labels。 Abstract we train the net
Learning with noisy labels总结
热门推荐
ferriswym的博客
04-26 1万+
Learning with noisy labels总结Deep Label Distribution Learning With Label AmbiguityJoint Optimization Framework for Learning with Noisy Labels欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入...
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning 解读
weixin_61445075的博客
03-14 1551
Noisy label learning, semi-supervised learning, and contrastive learning are three different strategies for designing learning processes requiring less annotation cost.
learning with neighbor consistency for noisy labels
09-17
学习邻居一致性是一种用于处理噪声标签的方法。在现实中，数据集中的标签常常会受到一些错误或噪声的影响，这会对模型的训练和泛化能力造成不利影响。而学习邻居一致性则通过考虑样本的邻居关系来进一步提高模型的鲁棒性。 学习邻居一致性方法的核心思想是基于数据的局部性原理，即相似的样本倾向于具有相似的标签。该方法通过比较样本的标签，检测和修复噪声标签，并将不确定性信息引入模型训练过程中。 具体而言，学习邻居一致性方法会首先构建一个样本的邻居图，其中每个样本的邻居是根据特征相似性确定的。然后，该方法会使用邻居信息来计算每个样本的标签一致性得分。通过比较样本自身的标签和邻居的标签，可以有效地检测和纠正噪声标签。 在模型的训练过程中，学习邻居一致性方法会引入一个邻居一致性损失函数，用于最大化样本与其邻居的标签一致性得分。这样，模型会倾向于对邻居们的标签一致性进行学习，从而提高模型的鲁棒性和泛化能力。 总而言之，学习邻居一致性方法通过考虑样本的邻居关系来处理噪声标签。它通过检测和修正噪声标签，引入不确定性信息，并最大化标签一致性得分来提高模型的鲁棒性。这种方法在处理噪声标签方面具有一定的优势，并可在实际应用中取得良好的效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值