Ezra521的博客

多任务学习优化1、多任务学习模型对于多任务的loss，最简单的方式是直接将这两个任务的loss直接相加，得到整体的loss，那么loss函数为：L=∑Li(1.1)L=\sum L_i \tag{1.1}L=∑Li​(1.1)在这里，模型的整体 loss 是所有子任务的 loss 之和。这种 loss 计算方式的不合理之处是显而易见的，不同任务 loss 的量级很有可能不一样， loss 直接相加的方式有可能会导致多任务的学习被某个任务所主导或学偏。当模型倾向于去拟合某个任务时，其他任务的效果