长尾形分布论文速览三十篇【60-89】

长尾形分布速览（60-89）

这些研究展示了LLMs在长尾数据分布、持续学习、异常检测、联邦学习、对比学习、知识图谱、推荐系统、多目标跟踪、标签修复、对象检测、医疗生物医学以及其他应用中的广泛应用。通过优化和创新，LLMs在这些领域展现了卓越的性能，并为解决长尾问题提供了有效的工具和方法。

1. 长尾持续学习与对抗学习

• 长尾持续学习 (Paper60): 通过优化器状态重用来减少遗忘，提高在长尾任务中的持续学习性能。
• 对抗训练与数据增强 (Paper66): 在长尾分布下，结合BSL和数据增强的方法有效缓解了稳健过拟合问题，提高模型稳健性。

2. 半监督与无监督学习

• 长尾半监督学习 (Paper61): BEM方法通过类平衡和熵的策略处理长尾半监督学习中的类不平衡问题。
• 弱监督标注设置 (Paper64): Reduced Label设置与无偏框架降低了长尾数据标注成本，提高了尾部类别的准确性。

3. 长尾异常检测与识别

• 长尾异常检测 (Paper63): LTAD方法结合重建与语义模块，应对多个长尾类别的缺陷检测。
• 对抗性长尾识别 (Paper62): 使用二值神经网络结合校准与蒸馏方法，解决计算效率和长尾分布问题。

4. 联邦学习与长尾数据分布

• 联邦学习与非IID分布 (Paper68): DFL-FS框架通过聚类与特征校准来提高长尾和非IID数据的联邦学习性能。
• 个性化与全局模型联合学习 (Paper88): FedLoGe方法通过整合局部和通用模型训练，提高联邦长尾学习性能。

5. 对比学习与生成模型应用

• 概率对比学习 (Paper69): ProCo算法通过采样对比对解决长尾数据集中的不平衡问题，提升了监督对比学习的性能。
• 生成模型辅助识别 (Paper73): DiffuLT通过扩散模型生成新样本来优化长尾识别任务，达到最先进结果。

6. 问答与知识图谱应用

• 合成QA数据集 (Paper65): Syn-QA2数据集用于研究假设错误在长尾问题中的敏感性，提高了模型对挑战性问题的处理。
• 知识图问答 (Paper77): CR-LT-KGQA数据集支持常识推理和长尾知识问答，为未来长尾实体的研究铺平道路。

7. 推荐系统与长尾问题

• 检索增强推荐 (Paper70): CoRAL通过强化学习找到最优交互集合，提升了长尾推荐任务中的LLM推理能力。
• 长尾生成内容微调 (Paper72): LTGC框架利用生成内容处理长尾识别问题，生成多样化的尾部类别数据并提高数据质量。

8. 多目标跟踪与轨迹预测

• 多目标跟踪数据增强 (Paper74): 针对MOT中的长尾分布问题，提出两种数据增强策略和Group Softmax模块提高跟踪性能。
• 行人轨迹预测 (Paper82): AMEND框架通过混合专家模型解决智能驾驶系统中长尾轨迹预测问题，显著提升性能。

9. 数据集噪声处理与标签修复

• 标签修复与专家集成 (Paper76): 提出两阶段解决方案，结合软标签修复和多专家学习应对噪声和类别不平衡问题。

10. 长尾对象检测与分类器优化

• 长尾对象检测 (Paper86): 通过三种解决方案显著提高长尾对象检测中的性能，特别是针对罕见类别的表现。
• 分类器重训练 (Paper79): 通过Logits重定位提高分类器性能，开发无需样本数量先验的长尾分类方法。

11. 医疗与生物医学知识应用

• 生物医学知识检索 (Paper81): 利用知识图降低文献中过度代表的概念集群，改善生物医学问答模型的检索性能。

12. 其他应用方向

• 长尾类增量学习 (Paper83): TaE框架通过任务感知参数分配来处理长尾增量学习问题，提高在CIFAR和ImageNet上的性能。
• 推荐系统兴趣遗忘 (Paper84): Trinity框架应对推荐系统中的“兴趣遗忘”问题，改进多种兴趣建模任务并提升用户体验。

---

Paper60 Continual Learning of Numerous Tasks from Long-tail Distributions

摘要小结: 这篇论文主要研究了在大量且大小分布呈长尾形的任务中，持续学习算法的性能，设计了一套合成数据集和两个真实世界的持续学习数据集进行评估，并探究了优化器状态（如Adam优化器中的第一和第二时刻）对持续学习的影响，提出了重用优化器状态的方法来减少遗忘，结果表明该方法在长尾任务序列中能有效提升持续学习算法的性能。

Paper61 BEM: Balanced and Entropy-based Mix for Long-Tailed Semi-Supervised Learning

摘要小结: 这篇论文提出了Balanced and Entropy-based Mix (BEM)，这是首个用于长尾半监督学习(LTSSL)中的数据混合方法，它通过重新平衡数据量和不确定性来处理类不平衡问题，具体包括一个基于类平衡的混合库和基于熵的学习策略，实验证明BEM能显著提高LTSSL框架的性能并达到先进水平。

Paper62 Long-Tailed Recognition on Binary Networks by Calibrating A Pre-trained Model

摘要小结: 该研究针对真实场景下深度模型部署的挑战，特别是计算效率和长尾数据分布问题，提出了一种高效的解决方案。具体而言，研究者使用资源高效的二值神经网络作为骨干，并通过一个“校准与蒸馏”框架，利用预训练的全精度模型在长尾数据集上训练二值网络。此外，他们还提出了一个新颖的对抗性平衡策略和高效的多分辨率学习方案。在15个数据集上的大规模实证研究表明，该方法显著优于先前技术，平均提高了超过14.33%的性能。总结来说：该研究提出了一种用于长尾数据分布的资源高效二值神经网络学习框架，并通过校准与蒸馏以及新颖的策略显著提升了性能。

Paper63 Long-Tailed Anomaly Detection with Learnable Class Names

摘要小结: 本文针对长尾分布下的异常检测问题，提出了一个新的方法LTAD，该方法能够在不依赖数据集类别名称的情况下，检测来自多个长尾类别的缺陷。LTAD结合了基于重建的异常检测和语义异常检测模块，通过两个阶段的学习过程，有效应对了类别不平衡问题，并在多个长尾数据集上取得了优于现有方法的性能。

Paper64 Learning from Reduced Labels for Long-Tailed Data

摘要小结: 本文针对长尾数据在现实世界分类任务中的普遍性，提出了一种新的弱监督标注设置称为Reduced Label，以减轻标注过程的劳动强度和时间消耗，同时避免尾部样本监督信息的下降，并降低长尾数据的标注成本；此外，作者还提出了一个直接且高效的无偏框架，具有强大的理论保证，以从这些Reduced Labels中学习，实验证明其效果超越现有弱监督方法。简而言之：文章提出了Reduced Label的弱监督学习设置和一个高效的无偏框架，有效降低了长尾数据的标注成本并提高了尾部类别的准确性。

Paper65 Syn-QA2: Evaluating False Assumptions in Long-tail Questions with Synthetic QA Datasets

摘要小结: 这篇研究介绍了Syn-(QA)${}^2$，这是一组通过合成方式生成的QA数据集，旨在研究模型对于假设错误的敏感性，发现即使在长尾分布的问题中，假设定向的QA任务具有挑战性，尤其是二进制检测任务比生成QA更难，且长尾问题比自然发生的问题更具挑战性，这突显了合成数据集和生成方法的实用性。

Paper66 Revisiting Adversarial Training under Long-Tailed Distributions

摘要小结: 这篇论文研究了在长尾分布下的对抗训练，发现仅使用平衡Softmax损失就能达到与RoBal方法相当的性能并减少训练负担，同时揭示了长尾分布下对抗训练也面临稳健过拟合问题，并通过数据增强有效缓解了这一问题，最终提出结合BSL和数据增强的方法，在CIFAR-10-LT上比RoBal提高了6.66%的模型稳健性。

Paper67 Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier

摘要小结: 这篇研究提出了Gradient-Aware Logit Adjustment (GALA) 损失函数，通过调整累积梯度来平衡训练过程中的优化，以解决现实世界中数据的长尾分布问题，同时提出了一个简单的后处理预测再平衡策略来进一步减少对头类的偏见，实验在多个长尾识别基准数据集上验证了其有效性，并在CIFAR100-LT、Places-LT和iNaturalist上取得了优于现有方法的性能提升。

Paper68 Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics

摘要小结: 这篇论文针对联邦学习在处理长尾和非IID分布的异构数据时面临的挑战，提出了一种两阶段的Decoupled Federated learning框架（DFL-FS），解决了尾部类别在少数客户端稀疏分布导致的模型选择概率低和性能问题。第一阶段通过聚类估计类别覆盖分布以加速收敛，第二阶段使用全局特征统计进行特征再生和校准，实验证明该方法在准确性和收敛率上优于现有方法。

Paper69 Probabilistic Contrastive Learning for Long-Tailed Visual Recognition

摘要小结: 这篇研究提出了一种新的概率对比学习算法（ProCo），旨在解决长尾分布数据集中的数据不平衡问题，该方法通过估计每个类别样本在特征空间中的数据分布，并据此采样对比对，特别是通过假设特征遵循冯·米塞斯-费舍尔分布来克服标准对比学习在数据不平衡情况下的挑战，从而提高监督对比学习在长尾分布数据上的性能。

Paper70 CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve Long-tail Recommendation

摘要小结: 这篇研究提出了协作检索增强的大型语言模型（CoRAL），旨在解决长尾推荐中的挑战，如数据稀疏和数据不平衡。CoRAL通过直接将协作证据纳入提示中，帮助LLM分析用户间的共享和不同偏好，并总结吸引特定用户的物品模式。研究还通过强化学习框架开发了一种检索策略，以找到最优的交互集合，显著提高了LLM在特定推荐任务上的推理能力，并更高效地探索协作信息。总结如下：该研究通过提出CoRAL，将协作信息融入LLM，利用强化学习提高长尾推荐任务中的LLM推理能力。

Paper71 Decoupled Contrastive Learning for Long-Tailed Recognition

摘要小结: 这篇论文针对长尾识别场景中，通过监督对比损失（SCL）存在的问题，提出了一种改进方法，主要通过解耦训练目标来处理SCL的两个问题，优化了正样本之间的关系，并提出了基于补丁的自我蒸馏方法来从头部类向尾部类转移知识，提高了长尾分类的性能，实验证明该方法在ImageNet-LT数据集上取得了57.7%的准确率，并且结合集成方法可进一步提升至59.7%，显著优于许多近期工作。

Paper72 LTGC: Long-tail Recognition via Leveraging LLMs-driven Generated Content

摘要小结: 本文提出了一种新的生成和微调框架LTGC，用于处理长尾识别问题，主要通过利用生成的内容来应对挑战，包括生成多样化的尾部类别数据，并通过新颖的设计确保数据质量以及高效微调模型，实验证明LTGC在流行的长尾基准上优于现有先进方法。

Paper73 DiffuLT: How to Make Diffusion Model Useful for Long-tail Recognition

摘要小结: 这篇论文提出了一个新的长尾（LT）识别的管道，名为DiffuLT，它利用长尾数据集本身通过随机初始化的扩散模型生成新的样本，优化平衡的代理，并通过交叉熵进行训练，同时过滤掉有害样本，该方法在CIFAR10-LT、CIFAR100-LT和ImageNet-LT上达到了最先进的结果，并且没有使用任何外部数据或预训练模型权重，具有高度的可泛化性。

Paper74 Delving into the Trajectory Long-tail Distribution for Muti-object Tracking

摘要小结: 该研究首次探索了多目标跟踪（MOT）数据中的分布模式，并识别出现有MOT数据集中的长尾分布问题，特别指出行人轨迹长度分布存在显著的长尾现象。为解决这一问题，研究者提出了两种数据增强策略（SVA和DVA）和一个Group Softmax模块，这些策略可有效减轻长尾分布对多目标跟踪性能的影响，并通过实验验证了其有效性。总结来说：该研究发现了MOT数据中的长尾分布问题，并提出了相应的策略来减轻其影响，以提高跟踪性能。

Paper75 Improving the quality of individual-level online information tracking: challenges of existing approaches and introduction of a new content- and long-tail sensitive academic solution

摘要小结: 这篇研究评估了社会科学中个人层面桌面信息跟踪的数据收集质量，指出现有方法存在采样、有效性和透明度隐私问题，并引入了WebTrack这一新工具来克服这些问题，WebTrack是一个开源跟踪工具，能够改善数据收集，并通过1185名参与者的数据展示了其如何带来跟踪数据处理的新创新，尤其是在检测政治相关信息消费方面优于传统方法。

Paper76 Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution with Label Refurbishment Considering Label Rarity

摘要小结: 本文提出了一种有效的两阶段方法，结合软标签修复和多专家集成学习，解决现实数据集中的噪声标签和类别不平衡问题，首先通过对比学习获得无偏特征并进行初步预测，然后在第二阶段应用标签修复方法获取软标签以进行多专家集成学习，实验证明该方法在多个基准测试中优于现有技术，显著提高了在模拟和真实噪声长尾数据集上的准确率。

Paper77 CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring Commonsense Reasoning and Long-Tail Knowledge

摘要小结: 这篇工作主要针对现有KGQA数据集的两大局限性，创建了一个名为CR-LT-KGQA的新数据集，该数据集支持常识推理并专注于长尾实体，包含两个子任务：问答和主张验证，通过扩展现有数据集构建，展示了现有LLMs在高幻觉率下的挑战，为未来长尾实体的常识KGQA研究铺平了道路。

Paper78 Automatic Question-Answer Generation for Long-Tail Knowledge

摘要小结: 本文提出了一个自动生成针对尾部实体（tail entities）的专门QA数据集的方法，并探讨了相关的研究挑战，通过在新生成的长尾QA数据集上使用预训练的大型语言模型（LLMs）进行广泛实验，比较了有无外部资源（如Wikipedia和Wikidata知识图谱）时的性能差异。

Paper79 Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach

摘要小结: 这篇研究主要重新审视了基于统一特征表示的分类器重训练方法，并提出了新的性能衡量指标——Logits Magnitude，以及一个近似不变量Regularized Standard Deviation。基于这些新指标，研究者证明了通过减少Logits Magnitude的绝对值可以提升模型性能，并开发了无需类样本数量先验知识的简单logits重定位方法（LORT），在多个不平衡数据集上达到了最先进的性能。

Paper80 SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning

摘要小结: 本研究提出了一个名为SimPro的新框架，用于半监督学习中的长尾分布问题，该框架不依赖于对未标记数据分布的任何预设假设，通过创新性地改进期望最大化算法并引入闭式解来估计类分布，提高了伪标签质量，且在理论和实践中均表现出一致性，同时在多种数据分布场景下展现了最先进的性能。

Paper81 Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge

摘要小结: 该研究针对大型语言模型（LLMs）在生物医学研究中忽视罕见信息的问题，提出了一种新的信息检索方法，利用知识图来降低文献中过度代表的概念集群，从而减轻信息过载问题，该方法在检索性能上比嵌入相似性方法好两倍，并且通过将嵌入相似性和知识图检索方法结合，形成了一个混合模型，进一步提高了生物医学问答模型的潜在改进。

Paper82 AMEND: A Mixture of Experts Framework for Long-tailed Trajectory Prediction

摘要小结: 该研究提出了一种模块化的、模型无关的轨迹预测框架，用于解决智能驾驶系统中行人未来运动预测的数据集不平衡问题，特别是长尾效应。该框架利用专门的混合专家模型，每个专家针对数据的一部分进行专项训练。通过路由网络选择最佳专家进行预测，实验表明该方法在长尾场景中提升了性能，并通过消融研究强调了不同组件的贡献。

Paper83 TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning

摘要小结: 这篇研究提出了一个新的任务感知可扩展（TaE）框架，旨在解决长尾分布下的类增量学习（LT-CIL）问题，通过动态分配和更新任务特定的可训练参数以学习每个增量任务的多样表示，并通过冻结大部分模型参数来抵抗遗忘；同时开发了中心增强（CEd）方法来指导这些任务感知参数的更新，以进一步鼓励类特定的特征表示，实验证明TaE在CIFAR-100和ImageNet100上达到了最先进的性能。

Paper84 Trinity: Syncretizing Multi-/Long-tail/Long-term Interests All in One

摘要小结: 本文提出了一种名为“Trinity”的统一框架，旨在解决推荐系统中常见的“兴趣遗忘”问题，同时改进多种兴趣建模任务，如多兴趣、长尾兴趣和长期兴趣。通过构建实时聚类系统并计算统计兴趣直方图，Trinity能够识别未被充分传递的主题并在面对新兴热门话题时保持稳定，适合大规模工业场景，并在抖音推荐系统中部署，显著提升了用户体验和留存。

Paper85 Reviving Undersampling for Long-Tailed Learning

摘要小结: 本文针对长尾识别中训练数据集极度不平衡的问题，提出通过平衡欠采样方法来提升最差表现类别的准确率，并使用调和平均和几何平均来评估模型性能，发现这种方法虽然降低了平均准确率，但提高了调和和几何平均准确率，同时作者还提出了一个简单的模型集成策略，以保持平均准确率几乎不变的同时提升调和和几何平均准确率，并在长尾学习常用的基准数据集上验证了方法的有效性。

Paper86 Rectify the Regression Bias in Long-Tailed Object Detection

摘要小结: 这篇论文指出长尾对象检测中存在回归偏差，并严重影响检测准确率，而现有方法忽略了这一点；论文提出通过三种解决方案（添加类不可知分支、聚类头和合并头）来应对罕见类别，显著提高了长尾检测方法的性能，特别是在罕见和常见类别上，并在LVIS数据集上达到了最先进的性能，这是首次尝试揭示并探索在长尾对象检测中纠正回归偏差。

Paper87 Geometric Prior Guided Feature Representation Learning for Long-Tailed Classification

摘要小结: 本工作提出了一种利用头部类别的特征分布几何信息来指导模型学习尾部类别潜在分布的方法，以应对真实世界数据的长尾分布问题。通过定义特征分布的几何形状和相似度度量，发现了四种现象，并基于这些现象提出了特征不确定性表示，以扰动尾部特征，提高模型泛化性能，实验证明该方法在多个数据集上优于其他类似方法，并为后续研究提供了新视角和理论依据。

Paper88 FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data

摘要小结: 本文提出了Federated Local and Generic Model Training in Fed-LT (FedLoGe)方法，通过在神经崩溃框架内整合表示学习和分类器对齐，旨在提高联邦长尾学习环境中全局通用模型和局部个性化模型的性能；同时，基于神经崩溃原理提出了Static Sparse Equiangular Tight Frame Classifier (SSE-C)以及Global and Local Adaptive Feature Realignment (GLA-FR)机制，实验证明在CIFAR-10/100-LT, ImageNet和iNaturalist数据集上，该方法优于现有的个性化联邦学习和联邦长尾学习方法。

Paper89 Generalized Categories Discovery for Long-tailed Recognition

摘要小结: 本文主要工作是针对现有的广义类发现（GCD）方法在处理未标记数据集中类别分布不均的局限性，提出了长尾广义类发现（Long-tailed GCD）方法，通过引入重加权机制和类别先验约束来增强对尾部类别的识别，实验表明该方法在ImageNet100上提升了6-9%的性能，并在CIFAR100上表现出竞争力。