基于类的有效数抽样CBEN

使用CBEN进行长尾视觉识别的softmax损失调整
原创 已于 2022-05-23 21:33:27 修改 · 3.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #图像处理

于 2022-04-21 19:35:55 首次发布
本文探讨了长尾视觉识别问题，通过Gaussian Clouded Logit Adjustment（GCL）调整softmax损失函数，以解决训练过程中尾部类别的分类器权重被过度惩罚的问题。提出了一种名为基于类的有效数抽样（CBEN）的方法，以避免尾部类别的过度训练，确保不同类别样本的有效参与训练，从而提高尾部类别的分类精度。

《Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment》

论文：链接: link
代码： 链接: link
设{x, y}∈T表示训练集T中的一个样本{x, y}， C类中有N个样本，且y∈{1，…， C}是ground truth标签。输入图像x的softmax损失函数为:
在这里插入图片描述

其中zj表示类j的预测logit。我们用下标y表示目标类，即zy表示目标logit, zj表示非目标logit, j≠ y表示非目标logit。

在反向传播中，zi上的梯度由:

在这里插入图片描述

在不损失一般性的情况下，我们使用二进制分类来说明。假设x来自第1类，则z1上的梯度计算为:
在这里插入图片描述

3.3 Classifier Re-balance
由式(2)导出的梯度表明，目标类y的样本惩罚非目标类j的分类器权值wj, j≠y w.r.t. pj。
头类比尾类有更多的训练实例。因此，在

最低0.47元/天 解锁文章
基于 FPGA 的数字抢答器设计
QQ_778132974的博客
03-06 3161
下面是基于 FPGA 的数字抢答器设计，在quartusII下，modelsim下仿真，编程语言VHDL。 1、抢答器的工作原理 主持人宣布可以抢答后，在 20s 的定时时间内若有人按键抢答，则这个按键号码会 被编码，然后系统锁存这个编码并显示输出。由此分析，我们需要用到鉴别电路。抢答 的有效时间为 20s，系统需要在抢答开始、20s 内有选手抢答以及 20s 定时时间到这三 种情况下发出报警声音，报警声音响 300 毫秒后停止。由以上分析，系统要用到定时电 路来规定有效抢答时间，用报警器来.
基于深度学习的物体检测：自动化视觉识别的研究与应用
AI天才研究院
06-29 6516
作者：禅与计算机程序设计艺术 基于深度学习的物体检测：自动化视觉识别的研究与应用 引言 1.1. 背景介绍 随着计算机视觉领域的发展，物体检测技术在图像识别、自动驾驶等场景中得到了广泛应用。物体检
论文笔记：ALA loss：Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
m0_57459724的博客
08-02 1391
Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
论文阅读：Long-Tailed Visual Recognition via Self-Heterogeneous Integration withKnowledge Excavation
m0_56224713的博客
05-10 1292
真实世界的数据经常显示出长尾分布，普通的深度模型倾向于严重偏向大多数类。为了解决这个问题，最先进的方法通常采用混合专家(MoE)来关注长尾分布的不同部分。这些方法的专家具有。为此，我们提出了一种新的基于moe的知识挖掘自异构集成方法。我们首先提出了(depth - wise Knowledge Fusion, DKF)方法，将每个专家在一个网络中不同浅部和深度部之间的特征进行融合，使得专家在表示方面更加多样化。在DKF的基础上，我们进一步提出了。
【论文阅读】Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics
sinat_38213499的博客
02-20 797
【基于当前许多真实世界场景中的数据分布都呈现长尾分布，因此，许多关于长尾分布的图像分类的成果被许多人所关注】【然而，他们通常评估一个平衡测试集或多个独立测试集的性能，都需要这些测试集具有与训练数据不同的分布。【当前测试数据可能存在相似的分布，现存评估测量无法客观反映出模型的泛化性能】
长尾形分布论文三十篇速览1【0-29】
weixin_44287798的博客
10-23 2165
这三十篇论文主要围绕长尾分布问题展开，涉及多个不同领域的具体应用和方法，可以大致分为以下五类：长尾学习方法创新、多模态与自监督技术应用、知识蒸馏与适配、长尾场景下特定领域的应用、以及数据增强与网络优化。
CVPR2023论文速览Recognition识别相关50篇
weixin_44287798的博客
06-19 3148
CVPR2023论文速览识别相关50篇
基于特征选择的过抽样算法的研究
01-20
为了提高不平衡数据集分类中少数类的分类精度，...将基于特征选择的过抽样算法和 SMOTE 算法进行实验比较，结果表明基于特征选择的过抽样算法的性能优于 SMOTE 算法，能有效降低数据的不平衡性，提高少数类的分类精度。
抽样技术与数理统计应用解析
"抽样技术习题答案" 抽样技术是统计学中的一个重要概念，它涉及到如何从一个较大的总体中选择一部分代表性数据进行分析，以便推断总体的特性。...理解和掌握这些知识点对于进行有效的数据分析和推断至关重要。
抽样和抽样分布.doc
02-23
抽样分为随机抽样和判断抽样，前者基于概率理论，确保每个个体被选中的概率相等，后者依赖于人的经验和判断，可能产生系统性偏差。 随机抽样误差和非抽样误差是抽样调查中必须考虑的两种误差类型。随机误差源于抽样...
机器学习笔记（二）——分类器之优缺点分析
ylin01234的博客
07-23 5732
原始数据中存在着大量不完整、不一致、有异常的数据，须进行数据清洗。数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值。 http://baijiahao.baidu.com/s?id=1581755863609513980&wfr=spider&for=pc 一、线性分类器： f=w^T+b / logistic ...
【机翻】MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition
zzbro
04-01 1683
MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition Abstract 现实世界的训练数据通常表现为长尾分布，其中几个大多数类的样本数量显著多于其余少数类。这种不平衡降低了为平衡训练集设计的典型监督学习算法的性能。在本文中，我们利用最近提出的隐式语义数据增强(ISDA)算法来增强少数类来解决这个问题，该算法通过沿着多个语义有意义的方向翻译深层特征来产生多样化的增强样本。重要的是，考虑到ISDA估计类条件统计数据来获得
Long tailed 长尾分布论文汇总
adf1179的博客
04-14 7010
什么是长尾分布？ 长期以来研究人员做图像、文本分类时使用的大多是均衡数据集：MNIST， CIFAR 10， CIFAR 100等，但是现实生活中的数据分布是非常不均衡的。有的类会占绝大多数，有的类别却很少出现。如果对这种分布不加以考虑，会导致尾部类别（tail）的预测结果受到很大影响，会严重的偏向头部类（head），如图所示： 目前对于长尾分布已经有很多工作去优化、考虑，在这里对最近自己看的论文进行总结。 计算机视觉 Class-Balanced Loss Based on Effective Num
Long-tailed Recognition (长尾问题)
热门推荐
连理o的博客
11-03 2万+
Ref: Long-Tailed Classification (1) 长尾 (不均衡) 分布下的分类问题简介 目录Long-Tailed Classification Long-Tailed Classification 长尾数据 在传统的分类和识别任务中，训练数据的分布往往都受到了人工的均衡，即不同类别的样本数量无明显差异。一个均衡的数据集固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性，但随着关注类别的逐渐增加，维持各个类别之间均衡就将带来指数增长的采集成本 举个简单的例子.
人工智能与机器学习-分类器
missbearC的博客
04-27 1554
机器学习基础第三章-分类器 一、查准率?查全率？ 查准率（Precision）（精度）是衡量某一检索系统的信号噪声比的一种指标，即检出的相关文献与检出的全部文献的百分比。普遍表示为：查准率=（检索出的相关信息量/检索出的信息总量）x100%。 查全率（召回率），是衡量某一检索系统从文献集合中检出相关文献成功度的一项指标，即检出的相关文献与全部相关文献的百分比。普遍表示为：查全率=（检索出的相关信息...
机器学习中的分类器的性能指标
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
07-10 698
机器学习中的分类器的性能指标，也是实验结果的常用评价标准。 主要有精度，召回率，准确率。此外还有平均精度AP、平均精度均值mAP和综合评价指标F1-Measure(或F1-Score)。曲线有CMC(Cumulative Match Characteristic)和ROC(Receiver Operating Characteristic)两种。CMC曲线的横坐标是Rank Score，纵坐标是...
【Scikit-Learn 中文文档】高斯过程 - 监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-21 1315
1.7. 高斯过程 高斯过程 (GP) 是一种常用的监督学习方法，旨在解决*回归问题*和*概率分类问题*。 高斯过程模型的优点如下： 预测内插了观察结果（至少对于正则核）。 预测结果是概率形式的（高斯形式的）。这样的话， 人们可以计算得到经验置信区间并且据此来判断是否需要修改（在线拟合，自适应） 在一些区域的预测值。 通用性: 可以指定不同的:ref:内核(kernels)<gp_kernels>。 虽然该函数提供了常用的内核，但是也可以指定自定义内核。
论文阅读Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
qq_40310050的博客
05-30 1494
AAAI 2022 论文：https://arxiv.org/pdf/2104.06094v2.pdf 摘要 现实世界中的数据往往呈现出长尾标签分布，这对视觉识别中的神经网络训练提出了巨大挑战。 现有方法主要从数据量的角度来解决这个问题，即每个类中的样本数。具体来说，他们更关注尾类，比如对 logit 进行更大的调整。 然而，在训练过程中，数据的数量和难度是两个相互交织、同样至关重要的问题。对于一些尾类来说，它们的实例的特征是鲜明的，有判别力的，也能带来满意的准确率；对于一些头类，虽然有足够的样本，但与其他
【人工智能】【深度学习】④ Stable Diffusion核心算法解析：从DDPM到文本生成图像的飞跃
最新发布
xiezhiyi007的专栏
12-02 1383
Stable Diffusion是AI绘画领域的革命性技术，其核心基于扩散模型：通过"拆快递"式的噪声添加（前向扩散）和"拼乐高"式的逐步去噪（逆向过程），实现从噪声到图像的构建。本文用快递分拣、乐高拼装等生活化类比，解析CLIP文本编码器（翻译文字指令）、VAE（图像压缩）和U-Net（智能拼图）三大核心组件。相比传统GAN模型，它避免模式崩溃，提升语义理解能力，成为文本生成图像的黄金标准。通过代码与架构图解析，帮助开发者快速掌握这项技术的核心逻辑。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值