图像长尾分布(Long-Tail Distribution)问题

已于 2023-07-12 14:45:18 修改
阅读量969 收藏 2
点赞数 2
分类专栏： MCP实战开发AI大模型应用与大数据计算架构 文章标签： 自然语言处理 人工智能 语言模型 编程实践 开发语言 架构设计
于 2023-07-12 01:21:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/universsky2015/article/details/131672270
版权
图像数据集中的长尾分布问题导致模型对少数类别(尾部类别)的识别能力下降。本文探讨了两种解决策略：重采样(如欠采样、过采样、类平衡采样)和重加权(如逆类别频率加权、Focal Loss、类平衡损失)，旨在改善模型对尾部类别的学习，提高长尾分布数据集的分类性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

图像长尾分布(Long-Tail Distribution)问题

Long-tail distribution problem in image datasets.

在ImageNet、COCO等常用视觉数据集中，由于经过人工预筛选，图像中的不同目标类别的数量是接近的。而在实际的视觉应用中，数据集大多服从长尾分布(long-tail distribution)，即少数类别(称为head class)占据绝大多数样本，多数类别(称为tail class)仅有少量样本。一个典型的长尾分布数据集(Open Brands商标数据集)如下图所示。

定义数据集的**不平衡率(imbalance ratio)**为类别的最大数量和最小数量之比。目前常用的一些长尾分布数据集如下：

  • CIFAR100-LT：对CIFAR100的每类训练样本下采样得到的，不平衡率可以取
了解本专栏 订阅专栏 解锁全文 超级会员免费看
概念解析 | 长尾分布：从无处不在的‘少数派’中挖掘价值
NLOS的博客
08-15 690
在自然界和社会经济现象中，经常会出现一种特殊的分布现象，那就是大部分的事物都集中在某个范围内，而少部分的事物却分布在一个很大的范围内。这种现象被形象地称为“长尾分布”。在这种分布下，长尾分布(Long-Tail Distribution)的尾部可能包含了大量的“少数派”信息，这些信息在传统的分布中可能被忽视，但在长尾分布中却能够揭示出许多有价值的信息。长尾分布的基本特点是：大部分的事物集中在分布的头部，而剩下的事物则分布在一个长长的尾部。这种分布可以用数学公式来描述。fx;ααxα1f(x。
长尾图像分类问题
qq_45691955的博客
03-15 1955
本文旨在使用一些策略去解决长尾分类问题
长尾分布（Long-tailed Distribution）
幼儿园大哥~
06-23 2547
长尾分布是重尾分布的一个子类型，其特点是分布的尾部较长，即存在大量的极端值。这些极端值在分布中的出现概率较低，但它们的存在对整体分布的特性有显著影响。长尾分布是统计学和概率论中的一个重要概念，用于描述一组数据中尾部包含较多极端值的情况。它具有慢衰减、幂律分布等特点，并在经济学、互联网、信息检索和推荐系统等领域得到广泛应用。在互联网时代，长尾分布现象更加普遍，对商业策略、市场分析和产品设计等方面产生了深远影响。
Long-Tail(长尾)问题的解决方案
qq_36523203的博客
09-11 1万+
长尾问题 在实际的视觉相关问题中，数据都存在长尾分布：少量类别占据绝大多数样本，大量的类别仅有少量的样本，比如open-images,ImageNet等。 解决长尾问题嘚方案一般分为4种： 1，Re-sampling:主要是在训练集上实现样本平衡，如对tail中的类别样本进行过采样，或者对head类别样本进行欠采样； 2，Re-weighting：主要在训练loss中，给不同的类别的loss设置不同的权重，对tail类别loss设置更大的权重 3，Learning strategy（阶段训练）：有专门为解决
长尾分布（long-tail distribution）和长尾效应
热门推荐
mengmeng6666的博客
09-04 3万+
长尾分布（long-tail distribution）和长尾效应 1、长尾效应 作者：赵澈 链接：https://www.zhihu.com/question/20027490/answer/20420381 来源：知乎 长尾效应其实是幂率分布的通俗提法，在物理上也被称为无标度现象，这种现象在自然界与社会生活中都相当地常见，可参考幂律分布_互动百科。里面也提到之所以叫无标度，是因为「系统中个体的尺度相差悬殊，缺乏一个优选的规模」。 如下图这般，极少数个体（横轴）对应极高的值（纵轴），而拥有极低值的个体，数
长尾分布 long-tail distribution
hxxjxw的博客
03-11 2193
实际上，在稳定分布家族中，除了正态分布，其他均为长尾分布。 长尾分布指少部分的类别占据了大部分样本数量，大部分类别只占据很少的样本。head类别主导训练过程 解决方法： data re-sampling loss re-weighting 其他方法（transfer learning meta learning） ...
long-tail distribution
09-07
在图数据中，long-tail distribution问题主要指的是节点度分布不均衡，即一些节点拥有非常高的度数，而其他节点的度数相对较低。这种不均衡分布会导致模型对于度数较低的节点关注度不高，从而在tail-node set上表现...
Factors in Finetuning Deep Model for Object Detection with Long-tail Distribution解读
ForLearning
04-15 2030
微调已经在很多视觉任务上都有一个state-of-art的performance，比如说追踪，分割，物体检测，动作识别等等。但是不同的微调方法对结果也是不一样的，这篇论文主要探索了物体检测上微调中对performance的影响因素。经验和分析结果都告诉我们有更多样本的类对feature learning的影响是更大的，因此最好是能够把样本分布均匀。提出一种层级的feature learning
Hybrid-PSC：基于对比学习的混合网络，解决长尾图片分类 | CVPR 2021
晓飞的算法工程笔记
03-29 1132
论文提出新颖的混合网络用于解决长尾图片分类问题，该网络由用于图像特征学习的对比学习分支和用于分类器学习的交叉熵分支组成，在训练过程逐步将训练权重调整至分类器学习，达到更好的特征得出更好的分类器的思想。另外，为了节省内存消耗，论文提出原型有监督对比学习。从实验结果来看，论文提出的方法效果还是很不错的，值得一看来源：晓飞的算法工程笔记 公众号。
长尾分布(long-tailed distributions)
薛铁钢的博客
09-14 9572
如果把不同类别的数据按照出现的频率从高到低进行排序，就会得到一条递减的曲线。在曲线的头部，数据出现的频率很高，随着数据的出现频率逐渐降低，曲线也逐渐下降，缓慢趋近于横轴，看起来就像拖着一条长长的尾巴。
长尾分布数据的理解
wzk4869的博客
03-02 4389
长尾分布数据的理解
综述 | 长尾（不均衡）分布下图像分类（2019-2020）
idol24的博客
07-22 7364
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！来源｜汤凯华@知乎，https://zhuanlan.zhihu.com/p/158638078...
ECCV 2022｜计算机视觉中的长尾分布问题还值得做吗
迈微AI研习社 · 号主
08-12 568
长尾分类领域最近的“进展”到底提升的是什么？长尾分布相关的问题后续还能不能做？该怎么做？细看本文作者为大家娓娓道来～时隔两年，饱受了社会的毒打之后，让我们再次重新回到计算机视觉中的长尾分布这个我博士期间研究的主要问题上，看看2022年了这个方向是否还值得继续做下去...
长尾理论（The Long Tail）
GeneralYY0的专栏
11-30 3402
来自百度百科 长尾理论（The Long Tail）是网络时代兴起的一种新理论，由美国人克里斯·安德森提出。长尾理论认为，由于成本和效率的因素，当商品储存流通展示的场地和渠道足够宽广，商品生产成本急剧下降以至于个人都可以进行生产，并且商品的销售成本急剧降低时，几乎任何以前看似需求极低的产品，只要有卖，都会有人买。这些需求和销量不高的产品所占据的共同市场份额，可以和主流产品的市场份额 相比，甚
ICCV 2021 LVIS Challenge 长尾分布实例分割挑战赛，冠军解决方案
我爱计算机视觉
11-02 901
关注公众号，发现CV技术之美本文为52CV粉丝投稿。本文介绍在 ICCV 2021LVIS Challenge Workshop上的冠军解决方案:『LVIS Challenge Trac...
【数据科学】数据的长尾分布和数据分布偏差
最新发布
若北辰
08-15 3232
在某些情况下，由于技术的进步（如互联网的普及），那些在传统市场中不受关注的小众产品或内容，在新的市场环境中变得更为重要，因为它们能够通过低成本的分销渠道（如电子商务）达到更多的受众，从而累积产生可观的影响力。：与正偏差相反，负偏差是指数据的长尾部分位于分布的左侧，左侧的尾部较长。此外，在建模过程中，特别是在机器学习中，如果数据分布存在显著的偏差，可能会影响模型的性能。在传统的商店中，只有畅销的电影或音乐能有足够的销售空间，而在流媒体平台上，即使是冷门电影或音乐也能够找到它们的观众，从而形成长尾分布。
Long-tailed Recognition (长尾问题)
连理o的博客
11-03 2万+
Ref: Long-Tailed Classification (1) 长尾 (不均衡) 分布下的分类问题简介 目录Long-Tailed Classification Long-Tailed Classification 长尾数据 在传统的分类和识别任务中，训练数据的分布往往都受到了人工的均衡，即不同类别的样本数量无明显差异。一个均衡的数据集固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性，但随着关注类别的逐渐增加，维持各个类别之间均衡就将带来指数增长的采集成本 举个简单的例子.
基于迁移学习的openship长尾数据分类
YmgmY的博客
01-17 847
基于迁移学习的长尾图像数据分类算法，基于pytorch数据并行训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值