Multi-Task Learning as Multi-Objective Optimization

已于 2022-01-25 23:36:28 修改
阅读量557 收藏
点赞数
分类专栏： PaperReading 文章标签： 深度学习 机器学习
于 2022-01-25 23:23:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41811657/article/details/122693792
版权
本文探讨了多任务学习作为一种多目标优化方法，并介绍了寻找帕累托最优解的目标。同时指出现有的MGDA算法存在的问题，包括高维梯度优化困难及训练时间随任务数量线性增长等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文将多任务学习作为多目标优化，总体目标是找到帕累托最优解。
现有的MGDA（multiple-gradient descent algorithm）缺陷：

  • (i) The underlying optimization problem does not scale gracefully to high-dimensional gradients, which arise naturally in deep networks.
  • (ii) The algorithm requires explicit computation of gradients per task, which results in linear scaling of the number of backward passes and roughly multiplies the training time by the number of tasks.

发

多任务学习(Multi-Task Learning)
AI天才研究院
07-12 743
多任务学习(Multi-Task Learning) Multi Task Learning. 本文目录： 多任务学习的定义及特点 多任务学习的网络结构 多任务学习的损失函数
MultiObjectiveOptimization:神经信息处理系统（NeurIPS）2018年论文《多任务学习作为多目标优化》的源代码-Source code learning
03-25
多任务学习作为多目标优化 该代码存储库包含的源代码： Multi-Task Learning as Multi-Objective Optimization Ozan Sener, Vladlen Koltun Neural Information Processing Systems (NeurIPS) 2018 实验框架基于PyTorch。 但是，所提出的算法（MGDA_UB）在很大程度上是Numpy的，没有其他要求。 因此，将其扩展到其他深度学习框架应该是微不足道的。 PyTorch版本在min_norm_solvers.py实现，仅使用Numpy的通用版本在min_norm_solvers.py文件中min_norm_solvers_numpy.py 。 此回购所包含的内容不只是本文的实现。 它同时采用了Frank-Wolfe和投影梯度下降法。 它还具有智能的初始化和梯度归一化
精读论文：Multi-Task Learning as Multi-Objective Optimization(附翻译)
菜菜小孙的blog
08-22 9061
Multi-Task Learning as Multi-Objective Optimization 二、翻译 0. 摘要 abstract： 在多任务学习中，多个任务共同解决，它们之间共享归纳偏差。多任务学习本质上是一个多目标问题，因为不同的任务可能会发生冲突，因此需要进行权衡。常见的折衷方案是优化代理目标（proxy objective），以最小化每个任务损失的加权线性组合。但是，这种解决方法仅在任务不竞争时才有效，这种情况很少发生。在本文中，我们明确地将多任务学习视为多目标优化，其总体目标是找到帕累
论文笔记-Multi-Task Learning as Multi-Objective Optimization
chenxino的博客
05-16 1383
在深度学习，使用多个任务（loss）训练模型时，通常使用最小化加权线性和的方式来训练整个模型。但是这要求多任务之间不存在相互竞争。因此作者提出新的多任务学习方法，将多任务学习转化成多目标优化问题，借助凸优化问题求帕累托（pareto）最优解。
【多任务】——Multi-Task Learning as Multi-Objective Optimization代码阅读
怡宝2号
03-30 1027
多任务训练，帕累托优化
【连续学习之MGDA算法】2018年NIPS多任务学习论文：Multi-Task Learning as Multi-Objective Optimization
BetterBench的博客
10-15 2244
本文提出了一种基于梯度的多目标优化算法，用于多任务学习，该算法通过优化一个上界来高效地找到帕累托最优解，且只需单次反向传播。
多任务学习优化总结 Multi-task learning（附代码）
热门推荐
Treasure Ashes
07-29 1万+
Multi-task Learning(Review)多任务学习概述 多任务学习优化（Optimization in Multi-task learning） Multi-Task Learning as Multi-Objective Optimization 阅读笔记 Multi-Task Learning Using Uncertainty to Weigh Losses GradNorm：Gradient Normalization for Adaptive Loss Balancing
论文速读| Multi-Task Learning for Dense Prediction Tasks: A Survey密集预测中的多任务学习综述.TPAMI2020
最新发布
科研笔记
01-15 1121
随着深度学习的出现，许多密集预测任务，即产生像素级预测的任务，已经看到了显着的性能改进。典型的方法是孤立地学习这些任务，即为每个单独的任务训练一个单独的神经网络。然而，最近的多任务学习（MTL）技术通过学习的共享表示联合处理多个任务，在性能、计算和/或内存占用方面显示出有希望的结果。在本次调查中，我们全面介绍了计算机视觉中MTL的最先进深度学习方法，明确强调密集预测任务。我们的贡献涉及以下方面。首先，我们从网络架构的角度考虑MTL。我们包括广泛的概述并讨论了最近流行的MTL模型的优点/缺点。
Multi-task中的多任务loss平衡问题
qq_34527082的博客
08-24 1万+
Multi-task中的多任务loss平衡问题GradNorm GradNorm GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks multi-task的损失函数: L(t)=∑wi(t)Li(t)L(t)=\sum{w_i(t)L_i(t)}L(t)=∑wi​(t)Li​...
多任务学习：Multi-Task Learning as Multi-Objective Optimization
Marvin_Huoshan的博客
09-04 3945
前言 最近在写一篇文章，是一篇深度学习与安全相结合的文章，模型的输出会交给两个损失函数（availability &security）进行损失计算，进而反向传播。起初的想法是直接将两项损失进行加权平均，共同进行反向传播，后面又尝试了先A后B和先B后A的方式。发现模型训练的效果不是很好，因为这两个损失在进行下降时是一种相互制约的关系，如图1所示（侧面也反映了自己设计的连个损失方向是对的）。在epoch到达30w次之后，两者分道扬镳。 考虑到多任务之间的制约，尝...
论文笔记讲解：A Modulation Module for Multi-task Learning with Applications
11-21
最新的关于多任务学习，如何消除不相关任务的干涉：一种用于图像检索的多任务学习的调制模块A Modulation Module for Multi-task Learning with Applications in Image Retrieval_ECCV_2018
Multi-Objective Particle Swarm Optimization ------(MOPSO)
05-08
Multi-Objective Particle Swarm Optimization ------(MOPSO)
Multi-Task Learning as Multi-Objective Optimization 阅读笔记
bbbeoy的专栏
11-23 416
https://blog.youkuaiyun.com/icylling/article/details/86249462
多任务学习Multi-Task Learning
s1162276945的博客
05-09 682
介绍多任务学习 http://ruder.io/multi-task/ https://zhuanlan.zhihu.com/p/52566508 多任务学习概述论文：从定义和方法到应用和原理分析 https://www.jiqizhixin.com/articles/nsr-jan-2018-yu-zhang-qiang-yang 多任务学习综述 https://caoxiaoqing.git...
【深度学习基础】多任务学习（Multi-Task Learning）
十二月的猫
09-26 1万+
多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学习，结果相互影响。一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。
Multi task learning（MTL）多任务学习介绍
猪逻辑公园
10-21 2021
1、定义及与其他机器学习任务的区别 1.1 单任务学习与多任务学习 既然要介绍多任务学习，那么就必须要提到与之对应的单任务学习。 我们平时接触最多的那些机器学习算法基本都是单任务学习，即专注于一个学习目标。 如上图所示，有4个独立的神经网络，每个网络针对同样的输入只有一个输出函数（优化目标），这四个网络之间没有任何连接，所以每个网络之间的表示层是独立的，彼此训练的隐层对其他网络的训练没有任...
读论文：Deep Neural Networks with Multitask Learning
知行_那片天
03-26 1040
读论文：A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning 使用一个卷积神经网络，对输入的句子做：词性标注，词块分割(chunks)，命名实体识别，词语相似度以及语言模型等任务。 背景： 很多系统缺乏统一的框架来进行深度语义任务，这些系统有三大缺点:...
多任务学习
xw555666的博客
05-22 3122
多任务学习（Multi-task Learning, MTL）是一种机器学习范式，它旨在同时学习多个相关任务，以提高模型在各个任务上的性能。数学上，多任务学习可以表示为一个联合优化问题，其中模型需要在多个任务上同时优化。
Multi-objective Evolutionary Federated Learning
03-30
Multi-objective evolutionary federated learning (MEFL) is a machine learning approach that combines the principles of multi-objective optimization and federated learning. Multi-objective optimization ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值