极简笔记 Cross-stitch Networks for Multi-task Learning

极简笔记 Cross-stitch Networks for Multi-task Learning

论文地址: https://arxiv.org/abs/1604.03539

本篇文章研究的问题是不同层级的网络权值共享对multi-task learning的影响，同时在此基础上提出Cross-stitch units（十字绣单元），以实现自动学习最优网络共享结构。

首先，本篇文章在AlexNet的基础上，在不同层级展开task-specific分支，测试任务各自性能。文章采用<属性分类, 检测>和<平面法向量预测, 语义分割>两组直观上有一定相关性的任务对进行多任务学习。实验结果如上图所示，<属性分类, 检测>任务对，无论specific分支在什么层级，都无法同时提高两个任务的性能，说明这组任务对本质存在矛盾，不能用于共同训练。而<平面法向量预测, 语义分割>则在中间部分出现同时提高性能的现象，说明这组任务对相关性大，同时也显示specific分支层级的选择对最终性能有较大影响。

于是接下来文章就提出了cross-stitch unit，道理很简单，就是原本有两个相同结构不同单任务的网络，然后在每个对应feature map进行逐channel线性组合，然后各自输入到接下来的网络（线性组合参数可学习）。（但是逐channel线性组合在&l