《Decoupling Representation and Classifier》笔记

长尾识别的解耦表示与分类
最新推荐文章于 2024-02-28 20:31:12 发布
转载 最新推荐文章于 2024-02-28 20:31:12 发布 · 977 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/111518894

本文探讨了解耦表示学习与分类在长尾识别问题中的应用，研究了不同采样策略对学习高质量表示的影响，以及如何通过调整分类器获得平衡决策边界，提出了包括随机采样、类别平衡采样等策略，以及重新训练分类器、最近类平均分类和归一化分类器等方法。
Paper:《Decoupling Representation and Classifier for Long-tailed Recognition》
Published at ICLR 2020
Keywords:Long-Tailed Image Recognition.

https://zhuanlan.zhihu.com/p/111518894

【概览】

  • 作者将分类网络分解为representation learning 和 classification 两部分，系统的研究了这两部分对于Long-tailed问题的影响。通过实验得到的两点发现是：
    • 数据不均衡问题不会影响高质量Representations的学习。即，random sampling策略往往会学到泛化性更好的representations；
    • 使用最简单的random sampling 来学习representations，然后只调整classifier的学习也可以作为一个strong baseline。
  • 具体地，作者首先使用不同的sampling策略（random sampling; class-balanced sampling; mixture of them ）来训练representations，然后，研究了三种不同的方法来获得有balanced决策边界的classifier。分别为：使用class-balanced sampling来re-training线性分类器的参数；对学到的representations使用KNN进行分类；通过normalize classifier的weight来使得weight的尺度变得更加balanced，并添加了一个temperature参数来调节normalization的过程。

【Sampling策略】

  • 作者将三种Sampling策略统一为一个公式，即从类别 [公式] 中挑选一个样本的概率 [公式] 如公式1所示。其中， [公式] 代表的是类别 [公式] 的样本数量， [公式] 是类别数量， [公式] 。若 [公式] ，为random sampling，文中也称之为Instance-balanced sampling；当 [公式] 的时候，为Class-balanced Samling；当 [公式] 时为Square-root Sampling；
    [公式] （公式1）
  • 最近也有工作是在训练前期使用random-sampling策略，后期使用class-balanced sampling。由此，作者提出了一个Softer版本的结合方式，Progressively-balanced Sampling。如公式2所示。其中， [公式] 为当前训练的Epoch， [公式] 为总的训练Epoch。
    [公式] （公式2）

【Classifier的学习策略】

  • Classifier Re-training (cRT).
    • 固定住representations部分，随机初始化classifier的weight和bias参数，并使用class-balanced sampling在训练少量epoch。
  • Nearest Class Mean classifier (NCM).
    • 首先将training set里的每个类别计算feature representaitions的均值，然后在test set上执行最近邻查找。或者将mean features进行L2-Normalization之后，使用余弦距离或者欧氏距离计算相似度。作者指出，余弦相似度可以通过其本身的normalization特性来缓解weight imbalance的问题。
  • [公式]-normalized classifier ( [公式]-normalized).
    • 令 [公式] ，其中， [公式] 是类别 [公式] 的classifier权重。按照公式3对 [公式] 进行re-scale。其中， [公式] 代表的是L2 Norm，当 [公式] 时，就是标准的L2-Normalization；当 [公式] 时，表示没有进行scaling操作。 [公式] ，其值是通过cross-validation来选择的。
      [公式] （公式3）
  • Learnable weight scaling (LWS).
    • 如果将公式3写为公式4的形式，我们可以将 [公式] 看作是一个可学习的参数，我们通过固定住representations和classifier两部分的weighs来只学习这个scaling factors。
      [公式] （公式4）

【Experiments】

  • 为了更好地测试在训练期间每个类别样本数量对结果的影响，作者将类别集合分成三种情况。Many-shot (more than 100 images), Medium-shot (20100 images) and Few-shot (less than 20 images).
  • 图1展示的是ImageNet-LTwith ResNeXt-50上的指标。

Figure 1: The performance of different classifiers for each split on ImageNet-LT with ResNeXt-50.

  • 其中，Joint代表的是传统的representations和classifier结合训练的策略。由此，作者的几点发现包括：
    • Sampling matters when training jointly. 可见，使用更好地sampling策略可以显著提高Joint的性能。疑惑的是，第一个Many的实验中，作者解释出现这种情况的原因是，模型高度偏向many-shot的类别，但是为什么这样就会导致acc高呢？感觉作者的解释不是很好。
    • 保持 representation frozen训练classifier要比finetune效果好。如图2所示。和一些SOTA的模型比较如图3所示。其他的实验结果及分析具体可参见paper。

Figure 2.

Figure 3.

【参考资料】

[1]. https://arxiv.org/abs/1910.0921

c2a2o2
关注
深度学习论文: Decoupling Representation and classifier for long-tailed recognition及其PyTorch实现
mingo_敏
05-07 6056
Decoupling Representation and classifier for long-tailed recognition PDF:https://arxiv.org/pdf/1910.09217.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks Official :https://github.com/...
解耦表征与分类器：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION（ICLR2020）
qq_36616304的博客
05-23 5416
简介 论文出自ICLR2020，新加坡国立大学和 Facebook AI联合著作。 代码：https://github.com/facebookresearch/classifier-balancing. 摘要 视觉世界的长尾分布对于基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略，例如通过损失加权，数据重新采样或将学习从头到尾的类迁移到其他类别，但其中大多数坚持联合学习表示和分类的方案。在这项工作中，我们将学习过...
样本不平衡的数据建模——decoupling representation and classifier
fcd_abc的博客
08-22 1621
decoupling representation and classifier（解耦特征表示模块和分类模块），将原来的分类模型拆分成两部分分别进行训练。比如ResNet-50，一般有神经网络层+分类层（全连接+softmax）构成。以前的模型是对这两部分做联合估计和拟合，但是decoupling representation and classifier是将这两部分分开来估计。 来源 该方法来自于论文：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TA
长尾分布系列论文解析（一）Decoupling Representation and Classifier for Long-Tailed Recognition
罟霖同学的站点
11-21 3547
长尾分布系列论文解析：分类问题中的长尾分布。论文名:Decoupling Representation and Classifier for Long-Tailed Recognition
DEEP NEAREST CLASS MEAN CLASSIFIERS
weixin_40286308的博客
08-20 1045
我还特意去摘要确认了一下，他们就是针对普通的NCM更新原型困难的痛点，加了一个动量更新的机制。后面勉强提出来对动量更新的两个“改进”，也没什么用，所以我都懒得写。2017年的Prototypical Networks（用于小样本学习），虽然是直接基于NCM分类器来学习deep representation的，但是他们的方法很难扩展到大规模的分类。2017年的icarl，虽然用了NCM分类器，但是他们的特征是基于softmax分类器学出来的。对于深度特征表示的学习，难点就在于随着学习的进行，uy的更新。
长尾分布之DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION
画心
11-08 1489
原始文档：https://www.yuque.com/lart/papers/drggso ICLR 2020的文章. 针对长尾分布的分类问题提出了一种简单有效的基于re-sample范式的策略. 提出的方法将模型的学习过程拆分成两部分:representation learning 和 classification. 对于前者, 则将完整的模型在原始的数据分布上进行训练, 即instance-balanced (natural) sampling, 从而学习_the best and most gene.
《Decoupling Representation and Classifier for Long-Tailed Recognition》阅读笔记
AncilunKiang的博客
02-28 2233
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略（class-balancing strategies）例如通过损失重加权、数据重采样，或者从头部类别到尾部类别的迁移学习，但它们大多数遵循共同学习表示和分类器的方案。在这项工作中，我们**将学习过程解耦（decouple）为表示学习和分类（representation learning and classification），并系统地探索不同的平衡策略如何影响长尾识别。
【论文笔记】Decoupling Representation and Classifier for Long-Tailed Recognition
sinat_38213499的博客
02-28 624
现状：Existing solutions usually involve class-balancing strategies, e.g. by loss re-weighting, data re-sampling, or transfer learning from head- to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers.
Decoupling Representation and Classifier for Long-Tailed Recognition论文笔记
tcmyxc的博客
05-12 858
Decoupling Representation and Classifier for Long-Tailed Recognition论文笔记 Facebook出品，ICLR2020会议论文，官方代码 摘要 视觉世界的长尾分布对基于深度学习的分类模型提出了巨大的挑战，即如何处理类不平衡问题。现有的解决方案通常涉及类平衡策略，例如通过损失重新加权、数据重新采样，或将学习从头尾类转移到尾类，但大多数方案都坚持联合学习表征和分类器的方案。在这项工作中，我们将学习过程分解为表征学习和分类，并系统地探讨了不同的平衡
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6386
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
论文笔记：Bag of Tricks for Long-Tailed Visual Recognition with Deep Convolutional Neural Networks
m0_57459724的博客
08-04 878
Bag of Tricks for Long-Tailed Visual Recognition with Deep Convolutional Neural Networks
论文阅读：Decoupling Representation and Classifier for Long-Tailed Recognition
qq_44317766的博客
01-16 1308
论文概述： 将分类网络分解为representation learning 和 classification 两部分，然后探究了一下这两个部分对于long-tailed问题的影响。根据实验结果可以发现： 数据不平衡问题不会影响高质量的representation的学习，因为Instance-balanced sampling（random sampling）策略往往会学到泛化性更好的representations 使用简单的Instance-balanced sampling来学习representati
论文笔记：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION
weixin_40371649的博客
12-02 920
原文地址 代码 本文来自ICLR20。对长尾识别，通常是joint学习，就是representation和分类一起进行。 本文的创新点就在于打破这个固有认识。 现有类平衡策略三种维度：损失重采样，数据重采样，学习从头到尾转换（迁移学习）。 第一种损失在各类别上不同，各类别的损失权重不同，难样本(hard example)需要更加重视。 第二种数据分布再平衡。头类的欠采样、尾类的过采样和数据实例的重加权。 第三种将头部知识应用到尾部分类。 问题 视觉现象遵循长尾分布，许多标准方法都无法正确建模，从而导致准确性
Decoupling Representation and Classifier for Long-Tailed Recognition 图像领域长尾分布分类问题方法
Jay_Tang的博客
01-08 1545
文章目录IntroductionRecent DirectionsSampling StrategiesMethods of Learning ClassifiersClassifier Re-training (cRT)Nearest Class Mean classifier (NCM)τ\tauτ-normalized classifier (τ(\tau(τ-normalized)ExperimentsDatasetsEvaluation ProtocolResultsSampling matter
论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier（DMLP）
WindyZXY的博客
12-07 1274
我们构建一个标签校正网络（LCN）作为元模型。LCN被参数化为一个具有参数的函数，以纠正实例特征h(x)的弱标签y'为一个更准确的标签y。同时，我们旨在训练并用于训练后预测的主要模型，被实例化为另一个参数为w的函数。
Decoupling Representation and Classifier for Long-Tailed Recognition
qq_41973062的博客
05-05 825
long tailed论文整理
Decoupling Representation and Classifier for Lont-Tailed Recognition
Fan9_的博客
05-14 829
Decoupling Representation and Classifier for Lont-Tailed Recognition ​ 长尾问题是基于深度学习分类模型的一大难点。现有的解决方案包括损失加权，数据重采样，头部类别到尾部类别的迁移学习。大多数方案都将表示和分类器联合学习。本文将学习过程分解成表示学习和分类。系统的探索了上述方法是怎么影响这两个部分，以获得在长尾分布上更好的表示。发现两个结果： （1）在学习高质量的文本表示时，数据不均衡不是一个问题。（即使数据不均衡，也能学习到高质量的文本
SDC论文详解Semantic Drift Compensation for Class-Incremental Learning. CVPR 2020
祥瑞的技术博客
04-18 3058
论文地址: https://arxiv.org/abs/2004.00440 一、贡献点 文章发表于CVPR2020，用于解决增量学习中类别增量的问题。贡献点有下面几个： 不同于以往的交叉熵loss, 本文的embedding network提出了triple loss，关于triple loss会在后面进行介绍，triple loss简单理解为基于特征空间质心的loss，样本提取特征后，距离特征空间的离质心越近，则loss越小，反之则越大。 本文的SDC（Semantic Dr...
Decoupling Representation and Classifier for Long-Tailed Recognition 论文代码详解
最新发布
08-08
### 解耦表示与分类器的实现细节 在论文 *Decoupling Representation and Classifier for Long-Tailed Recognition* 中，作者提出了一种解耦特征表示和分类器的训练策略，以应对长尾数据分布带来的类别不平衡问题。论文的实现细节主要围绕两个阶段展开：**联合训练阶段** 和 **解耦训练阶段**。 #### 联合训练阶段（Joint Training） 在联合训练阶段，网络的特征提取器（backbone）和分类器（classifier）同时进行训练。此阶段的目标是学习一个能够区分各类别的通用特征表示，同时训练一个初步的分类器。训练过程中使用了不同的采样策略，包括： - **实例平衡采样（Instance-balanced sampling）**：对所有样本均匀采样。 - **类别平衡采样（Class-balanced sampling）**：对每个类别采样相同数量的样本。 - **平方根采样（Square root sampling）**：每个类别的采样概率与其样本数的平方根成正比。 - **渐进平衡采样（Progressive-balanced sampling）**：先使用实例平衡采样，再切换到类别平衡采样。 损失函数使用的是标准的交叉熵损失（Cross-Entropy Loss），即： ```python criterion = nn.CrossEntropyLoss() ``` 在 PyTorch 中，联合训练的代码结构大致如下： ```python for epoch in range(joint_epochs): for images, labels in train_loader: features = backbone(images) outputs = classifier(features) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ``` #### 解耦训练阶段（Decoupled Training） 在解耦训练阶段，特征提取器被冻结，仅对分类器进行微调。该阶段的目的是通过调整分类器来适应长尾数据分布，而不影响已经学习到的特征表示。 ##### 1. **类别均值分类器（NCM：Nearest Class Mean）** 在该策略中，首先计算每个类别的特征均值，然后在测试阶段使用最近邻方法（如欧氏距离或余弦相似度）进行分类。 ```python # 计算每个类别的特征均值 class_means = compute_class_means(backbone, train_loader) # 测试阶段使用最近邻分类 def predict(feature): distances = [torch.norm(feature - mean) for mean in class_means] return torch.argmin(distances) ``` ##### 2. **τ-归一化分类器（τ-normalized classifier）** τ-归一化分类器通过归一化分类器权重来调整决策边界，缓解类别不平衡问题。归一化后的权重计算如下： $$ \tilde{w_i} = \frac{w_i}{||w_i||^{\tau}} $$ 其中 $\tau$ 是一个可调参数，通常设置为 1，即 L2 归一化。 在 PyTorch 中，τ-归一化可以通过以下方式实现： ```python def apply_tau_normalization(classifier, tau=1.0): with torch.no_grad(): weights = classifier.weight norm = torch.norm(weights, dim=1, keepdim=True) normalized_weights = weights / (norm ** tau) classifier.weight.copy_(normalized_weights) ``` 随后，使用类别均等采样重新训练分类器，通常不使用偏置项： ```python for epoch in range(decoupled_epochs): for images, labels in class_balanced_loader: features = backbone(images).detach() # 冻结特征提取器 outputs = classifier(features) loss = criterion(outputs, labels) optimizer_decoupled.zero_grad() loss.backward() optimizer_decoupled.step() ``` ##### 3. **LWS（Learnable Weight Scaling）** LWS 是 τ-归一化的扩展，其中缩放因子 $f_i$ 是可学习参数。该方法通过在解耦阶段学习每个类别的缩放因子来优化分类器的决策边界。 ```python # 定义可学习的缩放因子 scaling_factors = nn.Parameter(torch.ones(num_classes)) # 在损失反向传播时，仅更新 scaling_factors optimizer_lws = torch.optim.SGD([scaling_factors], lr=lw_lr) for epoch in range(lws_epochs): for images, labels in class_balanced_loader: features = backbone(images).detach() logits = classifier(features) scaled_logits = logits * scaling_factors.unsqueeze(0) loss = criterion(scaled_logits, labels) optimizer_lws.zero_grad() loss.backward() optimizer_lws.step() ``` #### 代码结构总结 整个训练流程可以分为以下几个步骤： 1. **联合训练特征提取器和分类器**，使用不同的采样策略。 2. **冻结特征提取器**，进入解耦阶段。 3. **使用类别均等采样重新训练分类器**，采用 τ-归一化或 LWS 策略。 4. **在测试集上评估模型性能**，使用 NCM、τ-归一化或 LWS 分类器。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值