实践出真知-神经网路篇-多任务学习

多任务学习简介

1. 多任务学习能够利用同一网络执行不同任务，节省网络存储，加快推理速度。
2. 不同任务之间需要就有一定相关性，能够共享视觉特征。

相关论文

End-to-End Multi-Task Learning with Atttention

1. 贡献点

   1. 提出多任务注意力网络MTAN，由全局特征池化和soft-attention module 组成的共享网络；实现不同任务的特征共享以及不同任务从全局特征获取有用信息。
   2. 实现了端到端训练流程,，简单与参数有效（随着任务数量的增加，参数量gracefully增加）
   3. 更加鲁棒地实现不同任务损失函数的权重化，提出了Dynamic Weight Average(DWA)
2. 方法
   1. 关键点：如何设计网络结构，学习共享特征（避免过拟合），学习具体任务特征（避免欠拟合）；如何设计损失函数，不同损失函数权重如何，不能让简单任务主宰了网络的学习，最好能够学习到损失函数的权重。
   2. 网络结构：（1）包括全局池化特征，形成单一的共享特征网络；（2）每个具体的任务不是直接从全局池化特征开始学习，而是在共享网络的每个卷积块中维护一个soft attention mask，使得不同任务对全局共享特征有不同的关注，进而获取不同任务的task-specific features；（3）以SegNet（一个编解码架构的网络）为例，任务包括户外语义分割、深度估计以及表面法向的估计（surface normal prediction）
      
   3. 实现细节：单个共享网络+K个具体任务的注意力网络；注意力网络是soft attention mask。