18、多任务学习在文本分类与识别中的应用

多任务学习在文本分类与识别中的应用

1. 混合参数共享

混合参数共享是硬参数共享和软参数共享的结合。在实验中，我们将所有三种多任务学习的子网络数量限制为两个。对于情感数据，混合参数共享的实现如下：

merged = Concatenate()([x1, x2])
y1=Dense(num_classes1,activation='softmax')(merged)
y2=Dense(num_classes2,activation='softmax')(merged)
model=Model(inputs=[inputsA, inputsB],outputs=[y1,y2])
def custom_loss(a,b):
    def loss(y_true,y_pred):
        e1=keras.losses.categorical_crossentropy(y_true,y_pred)
        e2=keras.losses.mean_squared_error(a,b)
        e3=keras.losses.cosine_proximity(a,b)
        e4=K.mean(K.square(a-b), axis=-1)
        return e1+e2+e3+e4
    return loss
model.compile(loss=custom_loss(x1,x2),
                  optimizer='adam',
                  metrics=['accuracy'])

其结果如下表所示：