2021AAAI）Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for MSA

Self-MM

1. 动机：

根据表征学习中指导的不同，我们将现有的方法分为前向指导和后向指导两类。
在正向制导方法中，研究致力于设计用于捕获跨模态信息的交互（MFN之类）模块(Zadeh et al 2018a;Sun等2020;蔡等人2019;Rahman et al 2020)。然而，由于统一的多模态注释，它们很难捕获特定于模态的信息。在反向引导方法中，研究人员提出了附加的损失函数作为先验约束（MISA之类），这使得模态表示同时包含一致和互补的信息(Yu等)2020年;Hazarika, Zimmermann, and Poria 2020)。

对于CH-SIMS和MISA的工作，在前者中，单模态标注需要额外的人工成本，而在后者中，空间差异难以表示特定于模态的差异。

所以，与Yu等人(2020a)即CH-SIMS那篇文章，不同的是，我们的方法不需要人工标注的单峰标签，而是使用自动生成的单峰标签。它基于两种直觉。第一，标签差异与情态表征与类中心之间的距离差异呈正相关。其次，单模态标签与多模态标签高度相关。因此，我们设计了一个基于多模态标签和模态表示的单模态标签生成模块。

考虑到自动生成的单峰标签在起始时代不够稳定，我们设计了一个基于动量的更新方法，该方法对随后生成的单峰标签应用更大的权重。此外，我们引入了一种自调整策略，在整合最终的多任务损失函数时调整每个子任务的权值。我们认为，在自动生成的单模态标签和人工标注的多模态标签之间，具有小标签差异的子任务很难学习特定于模态的表示。因此，子任务的权重与标签差呈正相关。

我们的工作的新贡献可以总结如下:

1. 我们提出了基于模态表示和类中心之间的距离的相对距离值，与模型输出正相关。
2. 我们设计了一个基于自监督策略的单峰标签生成模块。此外，引入了一种新的权值自调整策略来平衡不同的任务损失约束。
3