【论文阅读笔记】MissModal: Increasing Robustness to Missing Modality in Multimodal Sentiment Analysis

Lin R, Hu H. MissModal: Increasing Robustness to Missing Modality in Multimodal Sentiment Analysis[J]. Transactions of the Association for Computational Linguistics, 2023, 11: 1686-1702.

这篇论文由中山大学的林荣昊和胡海峰撰写，主要聚焦于提高多模态机器学习在多模态情感分析（MSA）领域的鲁棒性。这篇论文的核心思想是提出了一种新的多模态表示学习方法——MissModal，旨在解决多模态情感分析（MSA）任务中遇到的模态缺失问题。该方法通过引入三种创新性的损失函数——几何对比损失、分布距离损失和情感语义损失，有效地对齐完整和缺失模态的表示，从而提高模型在处理不完整模态数据时的性能和准确性。此外，通过在两个主要的MSA数据集上进行广泛实验，MissModal证明了其在应对模态缺失情况下的优越性能，展示了在真实世界应用中处理不完整多模态数据的潜力。以下是对其内容的总结：

【摘要与引言】

• 研究问题：论文解决了MSA中一个重要问题：输入数据的缺失模态（如文本、音频、视觉）会因输入形式多样和语义信息缺失而显著影响性能。
• 现有MSA模型：现有模型通过整合不同模态的语义信息来预测情绪强度，但在训练和测试阶段都需要所有模态的完整性，这使得它们对缺失模态非常敏感。

【方法论】

• MissModal方法：论文提出了一种新的表示学习方法，名为MissModal，旨在提高分类任务中对缺失模态的鲁棒性。这种方法无需更改多模态融合阶段，因此在多模态学