2022-03-04-Label-Noise-Learning

最新推荐文章于 2024-12-08 23:06:13 发布
最新推荐文章于 2024-12-08 23:06:13 发布
阅读量1.2k 收藏 3
点赞数 1
文章标签： 机器学习 人工智能 深度学习 算法 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/cwlseu/article/details/125225329
版权
本文探讨了深度学习中噪声标注数据对模型泛化能力的影响，介绍了几种应对策略，包括NAF、AUM、早停和SOP方法，旨在减少噪声标签对模型优化的负面影响，提升模型的鲁棒性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

layout comments title categories tags description
post
true
Label Noise Learning
blog
自然语言处理
Label Noise Learning

Label Noise Learning

@(NLP)[噪声, 主动学习]

[TOC]

序言

过参数化在深度学习时代常常被提到，它的神经网络参数个数甚至超过了 training sample 的个数，在实验中也体现出了非常好的效果。但是，一旦training samples中带有一些噪声，整个模型就趋向于过拟合，没有办法很好地泛化到测试集。一般而言，training samples带噪声的方式有两种，一是在 data points上加 Gaussian noise，二是 label noise. 我们这里主要探究第二种。

存在噪声标注数据

诸如数据增强、权重衰减、dropout和批量归一化等流行的正则化技术已经被广泛应用，但是它们本身并不能完全克服在噪声数据上过拟合问题。 1、噪声的类别 (1) instance-independent label noise: 现有大部分算算法都是针对这种类型的带噪数据进行的研究建模的，因为instance-dependent 建模比较复杂。

  • symmetric noise: 一个标签标错为其他类别的标签概率一样
  • asymmetric noise: 一个标签标错为其他类别的标签概率不一样
  • pair noise: 一个标签只会错标为对应的另外一种标签, 标错的是在这些标签对形式存在(a, b) Alt text

(2) instance-dependent label noise 2、困难 （1）深度学习模型因为其高阶的表达方式，更容易受到label noise的影响。

3、要获得一个鲁棒性的模型，方法可以大致分为三类： （1）设计使用好的损失函数 （2）训练方式: Training architectures methods （3）减少错误标注: Label correction methods. 噪声数据比重占比在8.0% ~38.5%范围内。

4、常用概念

Label Transition

Alt text

Alt text

Memorization Effect

最低0.47元/天 解锁文章
deepindeed
关注
TPAMI 2025 | 自适应动态特征与噪声标签学习（二）
小白学视觉
03-05 96
这里作者展示了所提出的ALDN-D和ALDN-ID算法的理论分析。作者将F\mathcal{F}F实例化为线性分类器的集合，即f(x)=W⊤xf(\mathbf{x}) = \mathbf{W}^\top \mathbf{x}f(x)=W⊤x。稍微滥用符号，作者将WC\mathbf{W}_CWC​表示为式(18)或式(19)中的最优解。为了更好地说明，作者首先总结了与线性模型W\mathbf{W}W相关的三个重要定义：在观察样本上的经验ℓ~\widetilde{\ell}ℓ-风险：R^ℓ~(f)=R^ℓ~(
20220304-label-noise-learning
DeepIndeed
08-30 376
layout title tags categories description date post Label Noise Learning NLP ML paper Label Noise Learning 2022-03-04 13:0...
Advances-in-Label-Noise-Learning:精选（最新）的带有噪声标签的学习资源列表
04-16
嘈杂的标签学习 A curated list of most recent works in Learning with Noisy Labels 内容 论文和代码（2021） 此回购专注于2019年之后的论文，有关以前的作品，请参阅（ ）。 国际学习代表大会（ICLR 2021） 会议日期：2021年5月3日-2021年5月7日 优化时-标签噪声会导致发散性很强。 使用实例相关的标签噪声进行学习：一种示例筛方法。 噪音与噪音：随机标签噪音有助于对抗固有标签噪音。 学习与特征相关的标签噪声：一种渐进的方法。 健壮的早期学习：妨碍记住嘈杂的标签。 健壮的课程学习：从干净的标签检测到嘈杂的标签自我校正。 [纸] 混合如何帮助鲁棒性和泛化？ [纸] 对未标记数据进行深度网络自训练的理论分析。 [纸] IEEE计算机视觉和模式识别会议（CVPR 2021）-更新
Noisy label learning
weixin_43702410的博客
08-09 701
Noisy Label Learning 1.f’create_noisy_data’ include cuda : numpy, random, matplotlib, pandas, tensorflow, os, sklearn Functions: class cluster_data_preprocess: visualize_data: showing the distribution of the points we gennernate get_centroids: with the
噪声标签学习 (Noise Label Learning)
gaesarGatt的博客
12-08 2333
噪声标签学习（Noise Label Learning，NLL）是指在训练机器学习模型时，标签数据存在误标或噪声（如错误的标签），导致模型的训练受到影响的问题。噪声标签问题通常出现在实际应用中，例如在大规模数据集或标注成本高昂的情况下，人工标注可能存在错误或不一致，造成标签噪声。噪声标签学习的目标是设计有效的算法，使得模型在面对标签噪声时，依然能够学习到有用的知识，并提高模型的鲁棒性。
Learning with Noisy Label
weixin_42051034的博客
06-28 2704
Learning with Noisy Label学习记录总结1.1 阅读背景1.2 理论基础类1.2.1 paper: understanding deep learning requires rethinking generalization -- 2017论文解读笔记1.2.2 paper: Convexity, Classification, and Risk Bounds1.3 基于概率模型 estimate noisy label1.3.1 paper: Training deep neural
5328笔记 Advanced ML Chapter9-Learning with Noisy Data II: Label Noise
爱学习的大叔的博客
11-06 400
label nosie: 就是target y 带有噪声 目标： 找到具有标签鲁棒性的分类器，即对带noise的label进行学习，最终可预测正确的y（不带noise）。 在引入RCN和CNN前，先复习下概率的理论。 RCN: 当噪点是随机分布的，我们可以通过对称损失函数对其进行抵消。 Importance reweighting：迁移学习的domain转换 ...
Awesome-Learning-with-Label-Noise:精选的带有噪音标签的学习资源列表
04-28
A curated list of resources for Learning with Noisy Labels 论文和代码 2008年NIPS-谁的选票应该更多：未知专业贴标商对标签的最佳整合。 2009-ICML-在多位专家的监督下学习：每个人都撒谎时值得信任的人。 ...
Hybrid Noise-Oriented Multilabel Learning
02-08
《Hybrid Noise-Oriented Multilabel Learning》一文通过引入Bi-Sparsity技术和Label Enrichment策略，成功地解决了多标签学习中面临的混合噪声问题。通过一系列的实验验证，证明了所提出的HNOML方法在面对不同类型...
【Noise-Label】《Learning from Noisy Labels with Deep Neural Networks》
bryant_meng
04-16 4308
arXiv-2014 文章目录1 Background and Motivation2 Advantages3 Innovations4 Method4.1 Bottom-up Noise Model4.2 Estimating Noise Distribution Using Clean Data4.3 Learning Noise Distribution From Noisy Data...
从噪声标签中学习
xys430381_1的专栏
09-25 947
综述：Image classification with deep learning in the presence of noisy labels: A survey-2019 对应的解读：学习噪声(Deep Learning Noisy Labels) Resource： Awesome-Learning-with-Label-Noise https://github.com/gorkemalgan/deep_learning_with_noisy_labels_lit
matlab代码影响-LabelNoiseTS:标签噪音
05-22
matlab代码影响生成合成时间序列数据集以研究类别标签噪声对分类性能的影响 目录 介绍 该模块生成合成的单变量时间序列数据集，其中包含不同级别的标签噪声。 生成的数据集包括具有多边形概念的遥感数据集特异性。 该想法是考虑到野外活动协议，在该协议中，为样本标签分配了描述同质区域（例如作物田地）的多边形。 该代码支持以下期刊和会议论文： @article{pelletier2017effect, title={Effect of training class label noise on classification performances for land cover mapping with satellite image time series}, author={Pelletier, Charlotte and Valero, Silvia and Inglada, Jordi and Champion, Nicolas and Marais Sicre, Claire and Dedieu, G{\'e}rard}, journal={Remote Sensing}, vol
《标签噪声表示学习的研究:过去、现在和将来》
11-12
经典的机器学习隐含地假设训练数据的标签是从一个干净的分布中采样的，这对于真实的场景来说限制太大了。然而，基于统计学习的方法可能不能很好地训练深度学习模型。因此，迫切需要设计标签噪声表示学习(LNRL)方法对带噪声标签的深度模型进行鲁棒训练。为了充分了解LNRL，我们进行了综述。
文献阅读：Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation
窝要芝士的博客
10-22 824
文献阅读：Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation
Learning to Learn from Noisy Labeled Data
weixin_38654615的博客
01-08 1476
Learning to Learn from Noisy Labeled Data 论文地址：https://arxiv.org/pdf/1812.05214.pdf 代码分享：https://github.com/LiJunnan1992/MLNT 一、 ABSTARCT DNN依赖于大量的数据，人工标注昂贵，网络上廉价的数据源往往包含不准确的数据，训练带有噪声的数据集会导致性能下降。本文提出了一个 noise-tolerant 训练算法，其中meta-learning update在常规的.
Deep Self-Learning From Noisy Labels
weixin_44858740的博客
04-10 203
从噪声标签中进行深度自学习
探索《 Advances in Label Noise Learning》：处理标签噪声的新视角
gitblog_00043的博客
04-16 821
探索《 Advances in Label Noise Learning》：处理标签噪声的新视角 去发现同类优质开源项目:https://gitcode.com/ 在机器学习领域，数据的质量对模型的性能至关重要，而其中一个问题常常被忽视，那就是标签噪声。在实际应用中，由于各种原因（如人工标注错误、数据采集问题等），训练数据中的部分标签可能出现错误，这被称为“标签噪声”。为此，WeijiaHeng分...
论文116：A noisy-label-learning formulation for immune repertoire classification (IJCAI, 23)
因吉的博客
07-25 812
旨在处理多示例学习 (MIL) 场景下的免疫库分类问题，特别是应对大量噪声标签和极低免疫反应率的挑战。目标是通过设计一种健壮的训练策略，提高序列级分类的准确性，从而实现更精准的免疫库分类和疾病相关序列识别。
Learning From Noisy Labels with Deep Neural Networks: A survey
HitWorkerA的博客
12-09 1236
Learning with Noisy Labels的综述文章简要记录，改文章对2020年以前的基于深度学习的Learning with Noisy Labels的文章做了一个总结，要点包括方法，优缺点，以及未来的发展趋势。
Class Prototypes based Contrastive Learning for Classifying Multi-Label and Fine-Grained Educational Videos
最新发布
03-21
### 基于类原型对比学习在多标签和细粒度教育视频分类中的应用 #### 类原型对比学习的核心概念 类原型对比学习是一种通过构建类别级别的代表性向量（即类原型），并利用这些原型之间的关系来进行特征学习的方法。这种方法能够有效捕捉类间差异以及类内一致性，从而提升模型的泛化能力[^1]。 具体而言，在多标签场景下，每个类别的原型可以通过该类别下的所有样本嵌入向量计算得到。通常采用均值池化的方式生成类原型 \( C_k \)，其中 \( k \) 表示第 \( k \) 个类别： \[ C_k = \frac{1}{N_k} \sum_{i=1}^{N_k} f(x_i), \] 这里 \( N_k \) 是属于类别 \( k \) 的样本数量，\( f(x_i) \) 则是输入样本 \( x_i \) 经过编码器提取后的特征向量[^2]。 #### 对比损失函数的设计 为了实现更有效的特征表示学习，对比学习框架引入了一种特殊的损失函数——InfoNCE Loss (Information Noise Contrastive Estimation)。这种损失函数旨在最大化正样本对之间的相似性，同时最小化负样本对之间的相似性。对于给定查询样本 \( q \)，其对应的正样本集合记作 \( P(q) \)，而负样本集合则为 \( N(q) \)，那么 InfoNCE Loss 可定义如下： \[ L_{contrastive}(q) = -\log \left( \frac{\exp(\text{sim}(q, p)/\tau)}{\sum_{n \in N(q)} \exp(\text{sim}(q,n)/\tau)+\sum_{p' \in P(q)} \exp(\text{sim}(q,p')/\tau)} \right). \] 这里的 \( \text{sim}() \) 函数通常是余弦相似度或者欧氏距离，参数 \( \tau \) 称为温度超参，控制分布的锐利程度。 #### 多标签与细粒度教育视频分类的应用挑战 当应用于多标签和细粒度教育视频分类时，主要面临以下几个方面的挑战： - **标签不平衡**：某些细粒度类别可能拥有远少于其他类别的标注数据，这会使得训练过程中难以形成可靠的类原型。 - **语义重叠**：不同类别之间可能存在较高的语义关联性，增加了区分难度。 - **时间依赖特性**：相比于静态图片，动态视频还包含了帧间的时间序列信息，这对建模提出了更高要求。 针对上述问题，可以考虑以下改进措施： 1. 引入自适应权重机制调整各类别的重要性； 2. 设计专门的模块捕获跨帧间的长期依赖关系，比如使用 LSTM 或 Transformer 结构； 3. 融合外部知识源辅助优化决策边界。 #### 实验验证与效果分析 实验表明，在多个公开基准数据集上，基于类原型对比学习的方法显著优于传统监督方法以及其他无监督预训练方案。特别是在低资源环境下，由于充分利用了有限样例内部的信息结构，性能优势更加明显。 ```python import torch.nn.functional as F def info_nce_loss(query_embeddings, positive_embeddings, negative_embeddings, temperature=0.5): """ Compute the contrastive loss using InfoNCE formulation. Args: query_embeddings (Tensor): Query embeddings of shape [batch_size, embedding_dim]. positive_embeddings (Tensor): Positive sample embeddings of same shape. negative_embeddings (Tensor): Negative samples with shape [num_negatives * batch_size, embedding_dim]. temperature (float): Temperature parameter controlling sharpness. Returns: Tensor: Scalar value representing computed loss. """ # Normalize all vectors to unit length queries_norm = F.normalize(query_embeddings, dim=-1) positives_norm = F.normalize(positive_embeddings, dim=-1) negatives_norm = F.normalize(negative_embeddings, dim=-1) logits_pos = torch.sum(queries_norm * positives_norm, dim=-1).unsqueeze(-1) / temperature logits_neg = torch.matmul(queries_norm.unsqueeze(1), negatives_norm.T.permute(0, 2, 1)) / temperature full_logits = torch.cat([logits_pos, logits_neg], dim=-1) labels = torch.zeros(full_logits.shape[:2]).to(logits_pos.device).long() return F.cross_entropy(full_logits.view(-1, full_logits.size(-1)), labels.view(-1)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值