Logit Adjust

最新推荐文章于 2025-12-02 20:45:02 发布
原创 最新推荐文章于 2025-12-02 20:45:02 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

Logit Adjust

BER

我们在分类问题中常用的误分类函数使得分类器最终学到的分布：
P ( y ∣ x ) ∝ P ( y ) P ( x ∣ y ) P(y|x) \propto P(y)P(x|y) P(y∣x)∝P(y)P(x∣y)
假设在一个不平衡猫狗二分类问题中，狗是一个小类，只有整个数据集的1%的数据量。则 P ( y ) = 0.01 P(y)=0.01 P(y)=0.01，这样无论 P ( x ∣ y ) P(x|y) P(x∣y)有多大，右边这一项都会很小。所以作者使用BER即banlance error rate，

首先举一个例子方便快速理解BER的思想：
源地址
在这里插入图片描述

根据上面这个混淆矩阵有 B E R = 0.5 ∗ ( b a + b + c c + d ) BER = 0.5 * (\frac{b}{a+b}+\frac{c}{c+d}) BER=0.5∗(a+bb​+c+dc​)通常的误差计算公式则为 E R = b + c a + b + c + d ER=\frac{b + c}{a+b+c+d} ER=a+b+c+db+c​

最低0.47元/天 解锁文章
LinxRds
关注
《Long-Tail Learning via Logit Adjustment》阅读笔记
AncilunKiang的博客
04-07 3034
论文标题 《Long-Tail Learning via Logit Adjustment》 通过 Logit 调整进行长尾学习 作者 Aditya Krishna Menon、Sadeep Jayasumana、Ankit Singh Rawat、Himanshu Jain、Andreas Veit 和 Sanjiv Kumar 来自 Google Research 初读 摘要 实际分类问题通常表现出不平衡或长尾的标签分布，其中许多标签仅与少数样本相关联。这对这类标签的泛化提出了挑战，并且使朴素学习偏向
[论文评析]Long-Tail Learning via Logit Adjustment，ICLR，2021
MasterQKK
09-16 3142
Long-Tail Learning via Logit Adjustment, ICLR,2021 Logit-adjustment, Post-hoc, 不平衡分类，长尾分布， imbalanced learning， Long-tail learning
论文阅读Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
qq_40310050的博客
05-30 1490
AAAI 2022 论文：https://arxiv.org/pdf/2104.06094v2.pdf 摘要 现实世界中的数据往往呈现出长尾标签分布，这对视觉识别中的神经网络训练提出了巨大挑战。 现有方法主要从数据量的角度来解决这个问题，即每个类中的样本数。具体来说，他们更关注尾类，比如对 logit 进行更大的调整。 然而，在训练过程中，数据的数量和难度是两个相互交织、同样至关重要的问题。对于一些尾类来说，它们的实例的特征是鲜明的，有判别力的，也能带来满意的准确率；对于一些头类，虽然有足够的样本，但与其他
【论文笔记】Long Tail Learning via Logit Adjustment
sinat_38213499的博客
03-01 1349
重温了基于标签频率的逻辑调整，并将这种logit adjustment应用在训练前还是还是训练中。这种调整是支持原始的logit和主类之间的相对边界。
论文阅读：Long-Tail Learning via Logit Adjustment
qq_44847374的博客
06-07 916
post-hoc normalisation，调整学习完的logit，但这样容易受到优化器选择的影响。loss modification，通过调整损失函数来调整logit，以适应不同类的惩罚，但这样牺牲了连续性，这样优化结果不一定是最优。提出了两个logit adjustment的两个post-hoc normalization和loss modification的实现，克服了两种问题的局限。证实了所提出的技术在真实世界数据集上的效用。
论文笔记：ALA loss：Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
m0_57459724的博客
08-02 1386
Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
Adaptive Logit Adjustment Loss
qiyue666的博客
03-29 425
我们凭经验发现logit表现更好，原因是softmax后得到的预测概率相对于相应的logit更加尖锐，这将导致过大或过小的调整项。对于某些头部类别，尽管样本足够，但与其他类别的高语义相似性和缺乏有区分度的特征将带来较差的准确率。Menon等人，2020）中使用的常见幂函数（1/x^n）不同，我们凭经验发现对数函数（1/ log(x + 1)）是一个更好的选择。图注：为了进一步证明QF的新函数形式是必要的，我们直观地在图2中展示了我们的QF与LDAM的比较。反之，困难的样本的DF趋于大。
长尾学习（一）：Long-Tail Learning via Logit Adjustment
gaoxueyi551的专栏
05-06 2486
，同时实验证明该方法的效果也是非常不错的。这也是本人比较欣赏该方法的主要原因之一，其次是该方法简单易用，可以轻而易举的切入分类、检测等任务当中去。这个形式涵盖了普通的交叉熵和变种交叉熵，而且是已有的一些其他类似方法的一般形式，具体可以参见原文。总感觉事后校准比较奇怪，具体所以然但是也说不出来，所以重点篇幅放在事中校准的介绍。这是一篇从损失函数入手解决长尾问题的一种新思路，借鉴基于标签频次的。按照原文的解释，它可以灵活的控制不同类别对损失函数的贡献。在事中模式下，基于贝叶斯最优的统计推理证明（
Preparing lessons: Improve knowledge distillation with Better supervision
mygugu的博客
08-06 612
问题：教师的logits进行训练可能出现incorrect和overly uncertain的监督 解决： (1) Logits Adjustment(LA) (2) Dynamic Temperature Distillation(DTD) LA：针对错误判断的训练样本，交换GT标签和误判标签的logits值 DTD:一些uncertain soft target是因为过高的温度值，因此可采用动态温度计算soft target, 该温度在训练期间自适应更新----->...
Logistic回归分析时几个需要注意的问题
热门推荐
oucpowerman的博客
12-28 3万+
1、关于样本含量的问题 logistic回归分析中，到底样本量多大才算够，这一直是个令许多人困惑的问题。尽管有的人从理论角度提出了logistic回归分析中的样本含量估计，但从使用角度来看多数并不现实。直到现在，这一问题尚无广为接受的答案。根据国外一些大牛的看法，如果样本量小于100，logistic回归的最大似然估计可能有一定的风险，如果大于500则显得比较充足。当然，样本大小还依赖于变量
缓解多分类的样本不均衡问题
行者AI
12-22 2221
利用深度学习做多分类在工业或是在科研环境中都是常见的任务。在科研环境下，无论是NLP、CV或是TTS系列任务，数据都是丰富且干净的。而在现实的工业环境中，数据问题常常成为困扰从业者的一大难题；常见的数据问题包含有： 数据样本量少 数据缺乏标注 数据不干净，存在大量的扰动 数据的类间样本数量分布不均衡等等。 除此之外，还存在其他的问题，本文不逐一列举。针对上述第4个问题，2020年7月google发表论文《 Long-Tail Learning via Logit Adjustment 》 通过 BER
STATA画图命令（二）
qq_52862974的博客
05-17 1万+
曲线标绘图和连线标绘图 [twoway] line varlist [if] [in] [,options] //绘制曲线标绘图 quietly regress mpg weight //quietly要求不显示回归结果，简写为qui predict hat //得到预测值hat predict stdf, stdf //得到预测的标准差 gen lo = hat - 1.96*stdf //构建置信度为95%的双侧检验t值置信区间下限 gen hi= hat + 1.96*std...
通过互信息思想来缓解类别不平衡问题
Paper weekly
07-27 2491
©PaperWeekly 原创 ·作者｜苏剑林学校｜追一科技研究方向｜NLP、神经网络类别不平衡问题，也叫“长尾问题”，是机器学习面临的常见问题之一，尤其是来源于真实场景下的数据集，几...
【看看这长尾效应】长尾效应综述
Leomn_J的博客
11-16 3812
Deep Long-Tailed Learning: A Survey引言长尾学习介绍三级目录 Deep Long-Tailed Learning: A Survey-论文地址 引言 长尾数据是指数据失衡，数据集中类别数量存在分布不均衡问题，典型的长尾数据集数据分布如下图所示： 长尾学习 在数据分布不平衡的情况下，能够训练良好的深度学习模型。 在长尾数据集中，通用的视觉识别模型容易偏向Head部数据，而忽视tail数据。 长尾数据的学习研究主要分为三大类： - 类重新平衡（class re-balanc
Bundle Adjustment 原理推导
chuhang_zhqr的博客
03-22 4905
参考 摄影测量学 武汉大学出版社 金为铣 2001年4月 P23J1718 光束法平差模型： 在解析摄影测量中，将外方位元素（局外点）和模型点坐标（局内点）的计算放在一个整体内进行，此时称其为光束法。光束法平差是以共线方程式作为数学模型，像点的像平面坐标观测值是未知数的非线性函数，经过线性化后按照最小二乘法原理进行计算。该计算也是在提供一个近似解的基础上，逐次迭代来达到趋近于最
【人工智能】【深度学习】④ Stable Diffusion核心算法解析：从DDPM到文本生成图像的飞跃
最新发布
xiezhiyi007的专栏
12-02 648
Stable Diffusion是AI绘画领域的革命性技术，其核心基于扩散模型：通过"拆快递"式的噪声添加（前向扩散）和"拼乐高"式的逐步去噪（逆向过程），实现从噪声到图像的构建。本文用快递分拣、乐高拼装等生活化类比，解析CLIP文本编码器（翻译文字指令）、VAE（图像压缩）和U-Net（智能拼图）三大核心组件。相比传统GAN模型，它避免模式崩溃，提升语义理解能力，成为文本生成图像的黄金标准。通过代码与架构图解析，帮助开发者快速掌握这项技术的核心逻辑。
RNN公式推导、案例实现及Python实现
m0_46670850的博客
12-01 771
RNN（循环神经网络）是一种专为序列数据设计的神经网络，通过循环传递隐藏状态实现对历史信息的记忆。本文详细介绍了RNN的理论基础，包括前向传播和反向传播的计算推导，并展示了RNN的5种典型结构（1-to-1、N-to-N、N-to-1、1-to-N和N-to-M）。文章分析了RNN的优点（时序依赖捕捉、参数共享、变长序列处理）和缺点（梯度消失、并行性差、长序列记忆有限）。最后给出了Python实现RNN的代码框架，包括数据生成、预处理和模型构建部分。通过理论推导和实例计算，帮助读者深入理解RNN的工作原理
基于LSTM-GARCH混合模型：降息预期驱动金价攀升，白银刷新历史峰值的蒙特卡洛模拟验证
12-01 558
本文通过构建宏观经济变量与贵金属价格联动的AI量化模型，结合市场情绪分析算法与历史数据回溯，分析美联储降息预期、美元指数波动及关键经济数据对黄金、白银价格走势的量化影响机制。
深度学习理论推导--多元线性回归
weixin_43719312的博客
12-02 507
本文介绍了多元线性回归的矩阵表示与求解方法。首先通过矩阵运算展示了如何从一元线性回归扩展到多元情形，推导出预测值的矩阵表达式。然后定义了残差平方和(RSS)的矩阵形式。最后详细阐述了利用链式法则对参数求导的过程，说明如何通过最小化残差平方和来求解最优参数。全文以矩阵运算为核心，展示了多元线性回归的简洁数学表达和求解思路。
<div align="center"> <img src="https://latex.codecogs.com/png.latex?%5Cbg_white%20%5Chuge%20z'_j%20%3D%20%5Comega_j%20%5Ccdot%20z_j%20%2B%20%5Cbeta_j" alt="MARC 配方"> <p style="font-size: small;"><b>公式 9</b></p> </div>
10-30
| Logit Adjust | $\beta_j = \tau \log \pi_j$ | 依赖先验分布估计 | 数据驱动学习 $\omega_j,\beta_j$[^1] | --- ### 6. **参数学习策略** $\omega_j$ 和 $\beta_j$ 通过两步优化： 1. **冻结主模型**：固定...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值