阅读笔记：Adversarial Multi-task Learning for Text Classification [ACL-2017]

【阅读笔记：Adversarial Multi-task Learning for Text Classification】

论文题目：Adversarial Multi-task Learning for Text Classification

作者：Pengfei Liu, Xipeng Qiu and Xuanjing Huang

出处：ACL 2017

论文主要相关：多任务学习、文本分类、情感分析

概要：常规的多任务学习通常单纯的共享某些参数，导致共用特征空间和私有特征空间中存在大量冗余的特征。作者提出了一种对抗性多任务学习框架，缓解了共享特征空间和特定任务特征空间（私有潜在特征空间）之间的相互干扰的问题，并采用对抗学习确保共用特征空间中仅存在共用特征和任务无关的特征，辅以正交约束来去除私有和共用特征空间中冗余的特征。在16个任务的情感分析测试中，该框架比单任务学习平均效果提升了4.1%，比其他多任务学习框架（FS-MTL、 SP-MTL等）效果更好。并且实验结果表明模型的共享特征学习到的知识，容易被迁移到新任务的情感分析中。

一、待解决问题：特征噪声

  1.1 Multi-task Learning
  多任务学习是一种有效的借助其他相关任务的帮助来提升单个任务表现的方法，而基于神经网络的多任务学习模型因为便于结合来自多个任务的信息而在机器视觉和自然语言处理中大受欢迎。->关于多任务学习的回顾
  
  1.2 Problems in existing methods
  现有的方法中，提取的共享（shared）特征容易受到特定任务（task-specific）特征或其他任务带来的噪声污染。

  Background：多任务学习中将特征空间划分为两部分，一个用于存储某任务特有的（private 、task-specific、task-dependent ）的特征表示，另一个用于捕获与特定任务关联性较低的共享特征表示。
  目前的SP-MTL模型中存在的主要局限在于共享特征表示空间中可能包含一些不必要的任务特有特征表示，而且一些与任务关联性较低的共享特征表示也可能混合在私有特征空间中，这是由特征冗余造成的。
  私有特征表示：任务特定的，独有的的情感特征表示，在具体任务背景中具有独有的情感极性。
  共享特征表示：任务分类之间的泛化边界，应具有较低的任务敏感性，在不同的任务语境中表现出相同或相近的情感极性。
  
   1.3 Give an example
  使用传统多任务学习模型输入以上两个句子（电影评论与婴儿用品评论），进行情感特征分类学习。

  使用传统多任务学习模型输入以上两个句子（电影评论与婴儿用品评论），进行情感特征分类学习。
   一词多义问题：“infantile”一词在电影任务中表示消极情绪，而在婴儿任务中则是中性的。使用传统的SP-MTL进行特征提取之后，在共享层与电影任务的特定特征表示层中都存放了“infantile”一词，这就对后续的情感分析造成潜在的不确定影响。
  同时，共享空间的容量也可能被一些不必要的特性所浪费。

  1.4 Neural network models

  目前主要有四种用于MTL的神经网络模型，本文使用Long Short-term Memory（LSTM)模型进行文本分类，关于LSTM模型可见 【Deep Learning】LSTM(Long Short-Term Memory)及变体。对于一个给定的句子 $x = {x_1,x_2,···,x_T}$，首先通过lookup层获取到每个词的向量表示，然后通过LSTM，使用最后一个时间步的输出 $h_T$作用整个句子的表示，最后通过一个softmax层进行分类，得到相应类别的概率。

$\hat{y} = softmax(Wh_T + b)$  （5）
  其中y′表示通过softmax层输出的预测分类概率（向量），W表示通过训练得到的权重向量，b为偏置项；

  对于含有N个训练样本的数据集（$x_i,y_i$），对网络参数进行训练，从而使预测分布与真实分布的交叉熵达到最小。

$L(\hat{y},y) = - \sum^N_{i-1}\sum^C_{j=1}y^i_Ilog(y'^j_i)$  （6）
   $y^j_i$表示真实的类别标签， ŷ ji