GradNorm: Gradient Normalization for AdaptiveLoss Balancing in Deep Multitask Networks 论文笔记

最新推荐文章于 2025-03-16 16:20:20 发布
原创 最新推荐文章于 2025-03-16 16:20:20 发布 · 638 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习

本文探讨了多任务学习中如何通过权重调整来平衡不同任务的损失量级和学习速度，提出了一种总损失函数的形式，并介绍了GradientLoss（GL）的概念。GL通过惩罚梯度标准化值过大或过小的任务，旨在使各个任务的训练速度接近，促进协同学习。

①目的：
1.促使不同任务损失的量级接近。
2.促使不同任务以相近的速度来进行学习。

②实现：
总损失 = w1 *任务一损失 + w2*任务二损失 + w3*任务三损失

对w1，w2，w3建模损失函数，实现①中的目的
在这里插入图片描述

2.1 衡量任务loss的量级

在这里插入图片描述
在这里插入图片描述
2.2 衡量任务loss的学习速度

在这里插入图片描述
在这里插入图片描述上式表示 相对反向训练速度，其越大，表示任务i在所有任务中训练越慢。

2.3 Gradient Loss（G

最低0.47元/天 解锁文章
【论文阅读26】GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
qq_35653657的博客
08-16 1979
深度多任务网络，即一个神经网络产生多个预测输出，可以比单任务网络提供更好的速度和性能，但正确的训练具有挑战性。我们提出了一种梯度归一化（GradNorm）算法，通过动态调整梯度大小来自动平衡深度多任务模型的训练。我们表明，对于各种网络架构，对于回归和分类任务，以及合成和真实数据集，与单任务网络、静态基线和其他自适应多任务损失平衡技术相比，GradNorm提高了准确性，并减少了跨多个任务的过拟合。GradNorm也匹配或超过穷举网格搜索方法的性能，尽管只涉及单个不对称超参数α。
GradNorm：Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks，梯度归一化
热门推荐
Leon_winter的博客
03-21 2万+
文章目录引言gradnorm   gradnorm论文地址：https://arxiv.org/abs/1711.02257   gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 论文阅读笔记
tsq292978891的博客
04-25 3532
GradNorm 不同任务的的梯度幅度大致相同 平衡不同任务的训练速率 梯度幅度和训练速率的定义 梯度幅度 首先是选模型的哪块参数来做梯度统计，这里选取的是所有任务共享层的最后一层。然后，通过计算每个任务loss相对于最后共享层的梯度的2范数，作为每个任务的梯度幅度表示，此外还计算了每个任务的梯度幅度，算一个均值，得到某次训练的梯度平均幅值。 训练速率 怎么去定义任务收敛的快慢，也即训练速率，论文这里用的是loss比，通常来说，网络最开始随机预测，此时loss最大，记为L(0)，然后以任务i在t时刻
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask译文
qq_45913945的博客
11-30 2025
深度多任务网络，即一个神经网络产生多个预测输出，可以比单任务网络提供更好的速度和性能，但正确的训练具有挑战性。我们提出了一种梯度归一化（GradNorm）算法，通过动态调整梯度大小来自动平衡深度多任务模型的训练。我们表明，对于各种网络架构，对于回归和分类任务，以及合成和真实数据集，与单任务网络、静态基线和其他自适应多任务损失平衡技术相比，GradNorm提高了准确性，并减少了跨多个任务的过拟合。GradNorm也匹配或超过穷举网格搜索方法的性能，尽管只涉及单个不对称超参数α。因此，曾经是一个乏味的搜索过程，
GradNorm论文阅读
WSNjiang的博客
07-13 1602
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks论文翻译摘要简介相关工作The GradNorm 算法定义和准备The GradNorm的平衡梯度样例 Loss Balancing in Deep Multitask Networks) 论文翻译 目前在进行基于ResNet的多任务学习，在训练过程中，出现了数据不平衡，参数共享存在一些问题。现在想加入一些基于loss改变的算法思想。论
Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 论文学习
calvinpaean的博客
09-25 351
对于一个多任务损失函数Lt∑witLitLt∑wi​tLi​t，目的是学习函数witw_i(t)wi​t将不同任务的梯度范数置于一个区间，这样我们能得出它们的相互影响的大小；动态调节梯度范数，不同的任务可以相同的速率学习。首先，作者定义一些关于梯度的相关量：WWW：我们要应用 GradNorm 的网络权重W⊂WW⊂W的子集。为了节约计算成本，WWW通常用权重最后一个共享层。
Gradient Normalization(GradNorm) 梯度归一化(梯度标准化)
hxxjxw的博客
01-21 5840
出自ICML2018的paper 《GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks》 gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
梯度归一化（Gradient Normalization）
最新发布
weixin_67251822的博客
03-16 1327
梯度归一化的核心思想是通过调整每个任务的权重，使得它们的梯度大小相对均衡。
gradnorm源码 - pytorch实现
04-23
gradnorm源码 - pytorch实现
GradNorm理解
littlemichelle
12-13 1万+
gradnorm在单个batch step的流程总结如下： 整体任务是指L=w_aL_a+w_bL_b， W是神经网络的参数值， gradnorm主要在动态学w_a, w_b；
Gradient Normalization在多任务学习中的优化实践
淘系技术
03-29 1881
本系列文章包含每平每屋过去一年在召回、排序和冷启动等模块中的一些探索和实践经验，本文为该专题的第四篇。第一篇指路：冷启动系统优化与内容潜力预估实践第二篇指路：GNN在轻应用内容推荐中的召回实践第三篇指路：基于特征全埋点的精排ODL实践总结前言在每平每屋以及我们团队负责的其他一些场景，MMoE多任务模型是精排阶段常用的模型。在每平每屋场景中，我们使用MMoE模型，对场景中的...
多任务学习优化Gradient Normalization
Ezra521的博客
08-17 2188
多任务学习优化 1、多任务学习模型 对于多任务的loss，最简单的方式是直接将这两个任务的loss直接相加，得到整体的loss，那么loss函数为： L=∑Li(1.1) L=\sum L_i \tag{1.1} L=∑Li​(1.1) 在这里，模型的整体 loss 是所有子任务的 loss 之和。 这种 loss 计算方式的不合理之处是显而易见的，不同任务 loss 的量级很有可能不一样， loss 直接相加的方式有可能会导致多任务的学习被某个任务所主导或学偏。当模型倾向于去拟合某个任务时，其他任务的效果
舍弃谱归一化，这篇ICCV‘21论文用梯度归一化训练GAN，效果极好
机器学习社区
11-28 904
近年来，生成对抗网络（GAN）取得了巨大的成功，它能够根据给定的先验分布合成新的数据，该技术对超分辨率、域风格迁移等应用都有所帮助。根据最原始的定义，GAN 由两个网络构成：（1）生成器，旨在生成能够欺骗判别器的逼真样本；（2）判别器，通过学习将真实样本与由生成器生成的样本区分开来。 当下最先进的 GAN 可以生成足以骗过人类的高质量图像，但是其训练过程的不稳定仍然是一个具有挑战性的问题。因此，近期一系列的研究工作都着眼于解决不稳定训练的问题。判别器陡峭的梯度空间是造成不稳定的 GAN 训练的原因之一，它会
7种Normalization总结（batch normalization，layer normalization，Weight Normalization，Cosine Normalization）
雪的期许
01-02 4402
文章目录七种normalization1. Normalization动机原理优点缺点2. Batch Normalization动机原理优点缺点3. Layer Normalization动机原理优点4. Instance Normalization动机原理优缺点5. Group Normalization动机原理6. Weight Normalization动机原理优点7. Cosine Normalization动机原理参考文献 七种normalization 机器学习中，模型最喜欢的数据就是服从独立
【多任务优化】DWA、DTP、Gradnorm（CVPR 2019、ECCV 2018、 ICML 2018）
chadlee
07-25 2212
L=i∑​Li​显然这种做法有很大问题，因为不同task的label分布不同，同时不同task的loss量级也不同，整个模型很可能被一些loss特别大的任务主导。L=i∑​wi​∗Li​L=i∑​wi​(t,θ)∗Li​t是训练的step，theta是模型其他参数。但是这种做法也不一定有人工设计权重好。一些设计wi​(t,θ)...
GradNorm 简介
taoqick的专栏
10-05 1万+
论文链接：https://arxiv.org/pdf/1711.02257.pdf 之前讲过了多任务学习，如简单的shared bottom，都存在一个问题：多个任务的loss如何融合？简单的方式，就是将多个任务的loss直接相加： 但实际情况是，不同任务loss梯度的量级不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务。此外，不同任务收敛速度不一致的，可能导致有些任务还处于欠拟合，可有些任务已经过拟合了。当然，我们可以人工的设置超参数，如： 由于各任务
微调模型，grad_norm巨大无比，然后变成nan，loss变为0.0的处理方式
shshshshauy的博客
10-10 2478
将deepspeed的配置文件中，overlap_comm选项设置为false。网上很多教程都在复制粘贴，没一点用。如果你走投无路了，试试我这个方法。
深度学习新突破：Gradient-Centralization优化技术解析
在文件"Gradient-Centralization-master"中，提供了使用GC技术的优化器的实现代码。这些代码可能是用Python编写的，并且可能适用于不同的深度学习库和框架。开发者可以通过查看这些代码来理解GC技术的具体应用方式，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值