动态权重之多任务不平衡论文 (二) MetaBalance

动态权重之多任务不平衡论文 (二) MetaBalance最近在梳理动态权重相关论文，MetaBalance依据目标任务的梯度动态对辅助任务的梯度进行缩放，通过标准化后与目标梯度相乘使得目标任务和辅助任务的梯度能够在相同的量级上，缓解辅助任务梯度过大或过小的问题。朋友已进行解读，转载一下。https://mp.weixin.qq.com/s?__biz=MzA4MzE1NTM0OQ==&mid=2455578984&idx=1&sn=518d2aef618453ff3e0eaf5e13346310&chksm=88534992bf24c0840d0182c8dc93095abe61f7dc9522141f67705c469a28abda40905bcfd1d5&token=1345311391&lang=zh_CN#rd

最近在梳理动态权重相关论文，MetaBalance依据目标任务的梯度动态对辅助任务的梯度进行缩放，通过标准化后与目标梯度相乘使得目标任务和辅助任务的梯度能够在相同的量级上，缓解辅助任务梯度过大或过小的问题。朋友已进行解读，转载一下。