[论文笔记] Gradient Surgery for Multi-Task Learning

已于 2024-03-18 14:19:54 修改
阅读量675 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 人工智能
于 2024-03-18 11:57:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trance95/article/details/136804296
这篇论文笔记探讨了在多任务学习（multi-task learning）中遇到的优化挑战，特别是不同任务间的梯度冲突。通过Gradient Surgery方法，文章提出了解决这种冲突的策略，旨在优化multi-task RL中的训练过程。该方法关注于任务之间的不相似性和相互影响，旨在提高学习效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Gradient Surgery for Multi-Task Learning
yifu0121
04-26 678
参考文章：论文阅读：Gradient Surgery for Multi-Task Learning - 知乎
论文精读 —— Gradient Surgery for Multi-Task Learning
Waldocsdn的博客
09-05 4154
在这篇论文中，作者确定了三种导致不良梯度干扰的多任务优化环境条件，并开发了一种简单而通用的方法，以避免任务梯度之间的这种干扰。作者提出了一种梯度手术形式，将任务的梯度投影到任何其他具有冲突梯度的任务的梯度的法平面上。在一系列具有挑战性的多任务监督和多任务RL问题上，这种方法带来了效率和性能的大幅提升。此外，它与模型无关，并且可以与先前提出的多任务架构结合，以增强性能。
【领域泛化论文阅读】Domain Generalization via Gradient Surgery
weixin_43877335的博客
06-23 551
神经网络使用梯度下降进行训练，通过梯度引导损失的优化，在多任务学习（multi-task learning，MTL）中，每个task有不同的损失函数，会导致梯度冲突，不同的task可能会使梯度指向相反的方向，通常处理冲突梯度的方法是对他们进行平均，但是研究表明[2]，简单平均会降低模型性能。与MTL处理不同的任务不同，DG处理的是不同的域，所以，论文假设在多领域的训练中会出现类似的梯度冲突。 模型的总体损失函数式(1)是每个域的损失函数的和平均加上一个正则项。 每个域的相关联的梯
多任务学习优化总结 Multi-task learning（附代码）
Treasure Ashes
07-29 1万+
Multi-task Learning(Review)多任务学习概述 多任务学习优化（Optimization in Multi-task learning） Multi-Task Learning as Multi-Objective Optimization 阅读笔记 Multi-Task Learning Using Uncertainty to Weigh Losses GradNorm：Gradient Normalization for Adaptive Loss Balancing
推荐开源项目：PCGrad - 强大的多任务学习优化框架
gitblog_00095的博客
06-08 726
推荐开源项目：PCGrad - 强大的多任务学习优化框架 项目地址:https://gitcode.com/gh_mirrors/pc/PCGrad 项目介绍 PCGrad 是一个基于 TensorFlow 的强大工具，实现了《Gradient Surgery for Multi-Task Learning》论文中的梯度手术策略。通过这个库，开发者可以有效地处理在多任务学习和多任务强化学习中遇到的...
multi-task framework with heterogeneous sensor data什么意思
04-02
多任务学习（MTT, Multi-Task Learning）通过共享表示和联合优化，能够有效整合来自不同传感器的异构数据，提升模型在复杂场景下的泛化能力。以下是其核心处理步骤和技术细节： --- #### **1. 数据预处理与对齐** ...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
ICRA2020论文整理（SLAM + Deep Learning）
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
NeurIPS2020论文接收量第一的大佬是怎样炼成的？
AI_Conf的博客
10-29 2798
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn NeurIPS，神经信息处理系统大会（Conference on Neur..
【论文笔记】多任务学习（Multi-Task Learning）
weixin_34406086的博客
01-08 7651
1. 前言 　　多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学...
零基础学nlp【1】 多任务训练（Multi-task sequence to sequence learning）
rory0114的博客
03-07 1660
零基础学nlp【1】 多任务训练 论文： Luong M T, Le Q V, Sutskever I, et al. Multi-task sequence to sequence learning[J]. arXiv preprint arXiv:1511.06114, 2015.](https://arxiv.org/pdf/1511.06114.pdf) 整体思路 多任务训练如图所示，...
多任务学习(Multi-Task Learning)
小小何先生的学习之旅
08-28 1万+
  本节主要聊聊从单任务到多任务 (Multi-Task) 的机器学习。   那什么是Multi-Task Learning呢？我们又是怎么来做这个Multi-Task Learning的呢？ What is Multi-Task Learning？   首先我们需要知道什么是一个task呢？在一个task里面我们会有一个量化的指标，有这个task生成出来的数据，以及我们会有一个model去opt...
多目标学习(Multi-task Learning)-网络设计和损失函数优化
来自Daisy和她的单程车票
12-01 9372
目前多目标学习主要从两个方向展开，一个是网络结构设计，一个是损失函数优化； 一、MTL网络设计 MTL网络通常可分为两种两种，一种是hard-parameter sharing不同任务间共用底部的隐层，另一种是soft-parameter sharing，形式较为多样，如两个任务参数不共享，但对不同任务的参数增加L2范数的限制；也有一些对每个任务分别生成各自的隐层，学习所有隐层的组合；这两种方式各有优劣，hard类的网络较soft不容易陷入过拟合，但如果任务差异较大，模型结果较差，但soft类网络通常参数较
Multi-task Learning and Beyond: 过去，现在与未来
zenRRan的博客
06-24 640
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要20分钟跟随小博主，每天进步一丢丢来自 | 知乎 作者 |刘诗昆链接 |https://zhuanlan.zhihu.com...
Multi-Task Learning as Multi-Objective Optimization 阅读笔记
icylling的专栏
01-10 1万+
Multi-Task Learning as Multi-Objective Optimization 阅读笔记
均值聚合与PCA：优劣全解析
最新发布
ZJQ的博客
08-05 39
摘要： 均值聚合与主成分分析（PCA）是两种数据简化方法，适用场景不同。均值聚合优势在于计算简单（基础运算即可）、可解释性强（结果对应原始变量水平）、对数据分布无严格要求，且聚焦“集中趋势”，适合快速整合信息或需直观解释的场景（如绩效评分）。PCA则依赖变量相关性，需先标准化数据以消除量纲影响，核心是提取数据变异方向，适合高维强相关数据降维。两者非替代关系，需根据目标选择：关注整体水平时用均值聚合，探索数据结构时用PCA。 （150字）
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
FL1623863129的博客
08-03 739
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
提升优快云文章在AI大模型的RAG搜索中引用率的综合策略分析,以“微学AI“为例
微学AI的博客
08-01 415
随着大型语言模型（LLM）与检索增强生成RAG技术的普及，AI驱动的搜索与问答正在成为获取技术信息的核心渠道。对于像“微学AI”这样的优快云技术博主而言，其文章能否被这些AI系统有效检索和引用，直接关系到其知识传播的广度、个人品牌的影响力以及潜在的技术领导力。本报告深入剖析了RAG系统的工作原理，并结合传统的搜索引擎优化（SEO）与新兴的AI内容优化策略，为优快云博主提出一套系统性的、可操作的优化方案。报告的核心观点是，创作者需要从“为人类读者写作”进化到“为人类与AI双重读者写作”.
Opera浏览器v120.0.5543.128绿色版，集成多重加速引擎，告别卡顿与追踪
midou55com的博客
08-02 533
一、产品概况Opera 诞生于挪威，以“小巧、快速、安全”闻名。该绿色版基于官方最新稳定分支定制，免安装、不写注册表，解压即可运行，适用于 U 盘随身携带或本地无痕使用。二、核心特色极速内核原生 Blink 引擎，启动与页面加载速度优于多数同内核浏览器；精简皮肤与 16×16 图标进一步减少资源占用。高度可定制• 快速拨号：内置可视化定制工具，背景、图标、布局随心调整。• 鼠标手势 + 快捷键：支持自定义，浏览效率倍增。• 界面选项：可隐藏标题栏、一键全屏，打造极简视觉体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值