Learning From Noisy Labels with Deep Neural Networks: A survey

原创 已于 2023-12-10 05:36:23 修改 · 1.3k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

于 2023-12-09 04:53:48 首次发布

这是2020年关于Noisy Label的一篇综述，简要的做一记录。

文章链接：

https://arxiv.org/abs/2007.08199

Background

为什么要解决Noisy Labels的问题?

DNN's can easily fit an entire training dataset with any ratio of corrupted labels, which eventually resulted in poor generalizability on a test dataset.

也就是说，DNN强大的拟合能力导致在有噪声污染数据集上训练的模型，在测试集上的泛化能力变差；

从细节原因来看，有如下几点：

  1. 同其他的Noisy相比(比如input noise)，Label Noise造成的危害更大；
  2. 现有的一些正则化方法，比如data arguments, dropout在解决Label Noisy问题上效果不佳；

该综述的论述范围

Supervised-Learning

Adversarial Learning:

Data imputation:

Feature Noise

前言Preliminaries

Label Noise的分类

  1. Instance-Independent Label Noise: 真实的样本标签已存在，标签的退化过程与数据特征是条件独立的；也就是说，噪声标签由一个transition matrix 转换而来；
    1. Symmetric Noise (Uniform Noise) : 真实标签污染成其他任意标签的概率是相同的，并不依赖于任一标签；
    2. Asymmetric Noise (Label dependent Noise)： 真实标签更容易被污染为一个特定的标签(或者说，真实标签污染为某一个特定标签的概率最大！概率不同）
    3. Pair Noise: 真实标签只能转换为一种特定的标签；
  2. Instance-Dependent Label Noise: More Reali
最低0.47元/天 解锁文章
HitWorkerA
关注
2022-03-04-Label-Noise-Learning
DeepIndeed
03-10 1295
layout comments title categories tags description post true Label Noise Learning blog 自然语言处理 Label Noise Learning L...
[论文阅读笔记58]Learning from Noisy Labels with Deep Neural Networks：A Survey
ld326的专栏
08-28 5938
1.题目 Learning from Noisy Labels with Deep Neural Networks: A Survey 作者团队：韩国科学技术院（KAIST） Song H , Kim M , Park D , et al. Learning from Noisy Labels with Deep Neural Networks: A Survey. 2020. 2. 摘要 重述问题：从监督学习的角度来描述使用标签噪声学习的问题； 方法回顾：对57种最先进的鲁棒训练方法进行了全
标签噪声：综述 Learning from Noisy Labels with Deep Neural Networks: A Survey
doctor_strange****
09-19 1万+
Learning from Noisy Labels with DNN: Robust architecture, robust regularization, robust loss function, loss adjustment, sample selection
Learning to Learn from Noisy Labeled Data
weixin_38654615的博客
01-08 1536
Learning to Learn from Noisy Labeled Data 论文地址：https://arxiv.org/pdf/1812.05214.pdf 代码分享：https://github.com/LiJunnan1992/MLNT 一、 ABSTARCT DNN依赖于大量的数据，人工标注昂贵，网络上廉价的数据源往往包含不准确的数据，训练带有噪声的数据集会导致性能下降。本文提出了一个 noise-tolerant 训练算法，其中meta-learning update在常规的.
Learning from Noisy Labels with Deep Neural Networks: A Survey
weixin_42051034的博客
08-21 2677
Learning from Noisy Labels with Deep Neural Networks: A SurveyRelated SurveysPRELIMINARIESA. Supervised Learning with Noisy LabelsB. Taxonomy of Label NoiseC. Non-deep Learning ApproachesDEEP LEARNING APPROACHESA. Robust Loss FunctionB. Robust Architecture
【Noise-Label】《Learning from Noisy Labels with Deep Neural Networks》
bryant_meng
04-16 4391
arXiv-2014 文章目录1 Background and Motivation2 Advantages3 Innovations4 Method4.1 Bottom-up Noise Model4.2 Estimating Noise Distribution Using Clean Data4.3 Learning Noise Distribution From Noisy Data...
含噪学习 --《Learning from Noisy Labels with Deep Neural Networks: A Survey》
D2461798571的博客
11-19 1042
在许多研究中，人们已经对架构进行了更改，以对噪声数据集的噪声转移矩阵进行建模 [16]、[75]–[82]。通过基于估计的标签转移概率修改 DNN 输出，最终架构实现了更好的泛化。专用架构旨在提高对复杂标签噪声的处理能力，特别是比简单标签转移更复杂的噪声类型。假定在给定真实标签的情况下，噪声的产生与数据特征无关：通过噪声转移矩阵T建模，定义。深度学习网络受到噪声标签的影响，拟合时包括噪声标签的特征，导致网络泛化性差。为了解决噪声数据对网络的影响，提出了不同的方法。用于描述真实标签和噪声标签之间的关系。
含噪学习--《Learning from Noisy Labels with Deep Neural Networks: A Survey》——2
D2461798571的博客
11-20 925
接上篇。
Noisy label learning
weixin_43702410的博客
08-09 747
Noisy Label Learning 1.f’create_noisy_data’ include cuda : numpy, random, matplotlib, pandas, tensorflow, os, sklearn Functions: class cluster_data_preprocess: visualize_data: showing the distribution of the points we gennernate get_centroids: with the
170904 Training Deep Neural Networks on Noisy Labels with Bootstrapping-Notes(TBC)
专注机器学习之路
09-04 1578
References What is the difference between the detection, recognition and identification of things? A Friendly Introduction to Cross-Entropy Loss The cross-entropy error function in neural networks
Awesome-Noisy-Labels:一项调查
04-16
使用深度神经网络从嘈杂的标签中学习：一项调查 这是一个知识库，可以帮助所有对处理嘈杂标签感兴趣的读者。 我们计划包括所有流行使用的数据（使用数据加载器）和必要的实现方式以进行评估。 如果您的论文缺失或有其他要求，请联系 。 我们将定期更新此存储库和文件以保持最新。 最后更新日期：2021-04-02 引文（.bib） @article{song2020learning, title={Learning from noisy labels with deep neural networks: A survey}, author={Song, Hwanjun and Kim, Minseok and Park, Dongmin and Shin, Yooju and Lee, Jae-Gil}, journal={arXiv preprint arXiv:2007.08199}, yea
《深度学习噪声标签学习》综述论文
07-22
在海量大数据的帮助下，深度学习在许多领域都取得了显著的成功。但是，数据标签的质量是一个问题，因为在许多现实场景中缺乏高质量的标签。
Learning with Noisy Label
weixin_42051034的博客
06-28 2790
Learning with Noisy Label学习记录总结1.1 阅读背景1.2 理论基础类1.2.1 paper: understanding deep learning requires rethinking generalization -- 2017论文解读笔记1.2.2 paper: Convexity, Classification, and Risk Bounds1.3 基于概率模型 estimate noisy label1.3.1 paper: Training deep neural
Deep Self-Learning From Noisy Labels
weixin_44858740的博客
04-10 307
从噪声标签中进行深度自学习
噪声标签学习 (Noise Label Learning)
gaesarGatt的博客
12-08 3819
噪声标签学习（Noise Label Learning，NLL）是指在训练机器学习模型时，标签数据存在误标或噪声（如错误的标签），导致模型的训练受到影响的问题。噪声标签问题通常出现在实际应用中，例如在大规模数据集或标注成本高昂的情况下，人工标注可能存在错误或不一致，造成标签噪声。噪声标签学习的目标是设计有效的算法，使得模型在面对标签噪声时，依然能够学习到有用的知识，并提高模型的鲁棒性。
论文116：A noisy-label-learning formulation for immune repertoire classification (IJCAI, 23)
因吉的博客
07-25 904
旨在处理多示例学习 (MIL) 场景下的免疫库分类问题，特别是应对大量噪声标签和极低免疫反应率的挑战。目标是通过设计一种健壮的训练策略，提高序列级分类的准确性，从而实现更精准的免疫库分类和疾病相关序列识别。
论文阅读：Learning from Noisy Labels with Complementary Loss Functions
qq_44622669的博客
11-25 1312
@TOC 整理了文章的关键内容，内容源自Jo-SRC: A Contrastive Approach for Combating Noisy Labels。 Abstract we train the net
Learning with noisy labels总结
热门推荐
ferriswym的博客
04-26 1万+
Learning with noisy labels总结Deep Label Distribution Learning With Label AmbiguityJoint Optimization Framework for Learning with Noisy Labels欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入...
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning 解读
weixin_61445075的博客
03-14 1600
Noisy label learning, semi-supervised learning, and contrastive learning are three different strategies for designing learning processes requiring less annotation cost.
learning to segment from noisy annotations :a spatial correction approach
最新发布
12-28
# mask_noisy: 带有噪声的真实标签 (N,H,W) N, C, H, W = pred.shape # 计算softmax后的概率分布 prob_dist = F.softmax(pred, dim=1) # 获取最可能类别的索引作为伪标签 pseudo_labels = torch.argmax...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值