SNR: Sub-Network Routing for Flexible Parameter Sharing in Multi-Task Learning

摘要

当任务相关性较低时，经典的多任务神经网络的准确性可能会显着下降。但手动调优的方法是不可扩展的，软参数共享模型要么不够灵活要么计算成本高。因此论文提出了一种称为子网络路由 (SNR) 的新框架，以实现更灵活的参数共享，同时保持经典多任务神经网络模型的计算优势。SNR 将共享的低级隐藏层模块化为多层子网络，并控制子网络与可学习的潜在变量的连接，以实现灵活的参数共享。

方法

子网模块化

将整个神经网络模型拆分成某种形式的子网络，允许不同的任务利用不同的子网络。提出了图1中的两种分子网及互相routing的方式，被称为SNR-Trans和SNR-Aver。

图1

首先，SNR会把shared bottom部分分割中上下两个子网络（sub-networks），两个子网络之间通过二进制编码变量（binary coding variable，取值非0即1）连接，SNR-Trans和SNR-Aver的不同，就体现在连接方式的不同。假设第一层子网络有三个，输出是$u_1,u_2,u_3$，第二层子网络有两个，输入是 $v_1,v_2$，SNR-Trans通过神经网络的矩阵运算转换连接两个子网络，SNR-Trans公式表达如下：