【IF-MMIN】利用模态不变性特征进行缺失模态的鲁棒多模态情感识别

代码地址：github地址传送

文章是基于MMIN的改进 -> MMIN传送

abstract

多模态情感识别利用跨模态的互补信息来获得性能。然而，我们不能保证所有模式的数据总是存在于实践中。在跨模态数据缺失预测研究中，异质性模态之间的固有差异即模态差距是一个挑战。为了解决这个问题，我们提出在缺失模态想象网络（IF-MMIN）中使用不变特征，该网络包括两个新的机制：1)全模态场景下基于中心矩差异（CMD）距离的不变特征学习策略；2)利用基于不变特征的想象模块（IF-IM）来缓解缺失模态预测过程中的模态差距，从而提高多模态联合表示的鲁棒性。在IEMOCAP基准数据集上的综合实验表明，该模型优于所有基线，并在不确定缺失模态条件下不断提高整体情绪识别性能。

intro

缺失模态的多模态情感识别研究寻求在现实环境中进行情感识别[1,2]，其中一些数据可能由于摄像机遮挡，麦克风损坏等而丢失。模态缺失问题的主流解决方案可以概括为两类：

1)缺失数据生成[3-5]，

2)多模态联合表示学习[6,7]。

在[3]中，提出了一个编码器-解码器网络来生成。在[7]中，研究了一种基于循环一致性损失的翻译方法来学习模态之间的联合表示。在[1]中，研究了一种缺失模态想象网络（Missing Modality Imagination Network，简称MMIN），通过预测缺失模态来学习联合表征，该网络结合了上述两种方法。异构模态之间的模态差距[8 - 10]仍然是一个问题，它对情绪识别的准确性产生不利影响。问题是如何缩小这种形态差距。虽然模态有其独特的特征，但它们在语义空间中共享相同的信息。将模态不变特征引入到全模态数据的多模态情感识别中，取得了显著的效果。Hazarika等[8]提出了共享子空间来学习模态之间潜在的共性，以减少模态差距的影响。Liu等[11]提出了离散共享空间来捕获细粒度表示，以提高跨模态检索的准确性。所有的研究都表明，情态不变特征有效地弥补了情态差异。我们注意到，在缺失情态条件下，没有相关的情感识别工作。

在这项工作中，我们提出了一个具有不变特征的缺失模态想象网络（IF-MMIN）。具体来说，我们首先使用基于中心矩差异（CMD）距离[12]的约束训练策略来学习各种模态之间的模态不变特征。然后，我们设计了IF-MMIN神经结构，从可用模态中预测缺失模态的不变特征。

本工作的主要贡献有：

1)提出了一种基于cmd的距离约束训练方法来学习全模态间的模态不变性；

2)在跨模态想象过程中引入不变特征，减少模态差距的影响，增强多模态联合表示的鲁棒性；

3)在各种缺失模态条件下的实验结果表明，所提出的IF-MMIN在缺失模态情况下具有准确的情感识别性能

方法

提出的IF-MMIN方案首先在全模态信号下采用基于中心矩差异（CMD）距离的不变特征学习策略，学习模态特定特征和模态不变特征；在IF-MMIN训练过程中，IF-IM读取这两个特征，通过缺失模态想象学习鲁棒联合表示

CMD基于距离的不变特征学习

图1：基于中心矩差异（CMD）距离的不变性特征学习管道，包括特异性和不变性编码器以及分类器。红色箭头表示基于cmd的距离约束，以强制各种模态特征映射到相同的语义子空间。

如图所示，不变特征学习管道包括三个模块：特异性编码器、不变性编码器和分类器。特异性编码器旨在提取高级特征从原始特征来表示模态特定的特征。不变性编码器以模态特定特征作为输入，提取模态不变特征H，该特征由高级特征(Ha；高压;在所有形式中。最后，基于全连接层的分类器输入h和h的连接来预测情感类别。在修饰之后，我们将采用预训练的特异性和不变性编码器以及提出的IF-IM模块来构建IF-MMIN架构

Q：CMD是什么？距离约束体现在哪里？

A：CMD（中央矩差异）是一种用于衡量两个概率分布之间差异的距离度量方法。它通过比较两个分布的各阶中心矩，评估它们在统计特性上的差异，从而量化分布之间的距离。