weixin_45962681的博客

低质量数据融合的四个小方向

为此，我们提出了多模态重构和对齐网络（MRAN）来解决情态缺失问题，特别是缓解由于文本情态缺失而导致的衰退。我们首先提出了多模态嵌入和缺失索引嵌入来指导缺失模态特征的重建。然后，将视觉和听觉特征投射到文本特征空间中，三种模态的特征都被学习到与其对应情感类别的词嵌入接近，使视觉和听觉特征与文本特征对齐。在这种以文本为中心的方式下，视觉和听觉形式受益于更具信息性的文本形式。从而提高了网络在不同情态缺失情况下的鲁棒性，特别是在文本情态缺失的情况下。

现有的多模态任务主要针对完整的输入模态设置，即每个模态在训练集和测试集中要么是完整的，要么是完全缺失的。然而，随机缺失的情况仍然没有得到充分的研究。在本文中，我们提出了一种新的方法MM-Align来解决模态缺失推理问题。具体而言，我们提出了1)基于最优传输（OT）理论的对准动力学学习模块，用于间接缺失数据的输入；2)一种去噪训练算法，可同时增强插值结果和骨干网性能。与以往专注于缺失输入重建的方法相比，MM-Align学习捕捉和模仿模态序列之间的对齐动态。

多模态情感分析是一个具有挑战性的研究领域，涉及多个异构模态的融合。主要的挑战是在多模式融合过程中出现一些缺失的模式。然而，现有的技术需要所有的模态作为输入，因此在预测时间对缺失的模态很敏感。在这项工作中，首次提出了耦合翻译融合网络（CTFN），通过耦合学习来建模双向相互作用，确保了对缺失模态的鲁棒性。具体来说，为了提高翻译性能，提出了循环一致性约束，允许我们直接丢弃译码器，只包含Transformer的编码器。这可能有助于一个更轻的模型。由于耦合学习，CTFN能够并行进行双向交叉模态相关。

针对多模态情感分析中的情态缺失问题，当情态缺失导致情感发生变化时，会出现不一致现象。决定整体语义的缺失情态可以被认为是关键的缺失情态。然而，以前的研究都忽略了不一致现象，简单地丢弃缺失的模态，或者仅仅从可用的模态中生成相关的特征。忽略关键的缺失情态格可能导致错误的语义结果。为了解决这个问题，我们提出了一个基于集成的缺失模态重构（EMMR）网络来检测和恢复关键缺失模态的语义特征。具体来说，我们首先通过主干编码器-解码器网络学习剩余模态的联合表示。然后，

多模态情感识别利用跨模态的互补信息来获得性能。然而，我们不能保证所有模式的数据总是存在于实践中。在跨模态数据缺失预测研究中，异质性模态之间的固有差异即模态差距是一个挑战。为了解决这个问题，我们提出在缺失模态想象网络（IF-MMIN）中使用不变特征，该网络包括两个新的机制：1)全模态场景下基于中心矩差异（CMD）距离的不变特征学习策略；2)利用基于不变特征的想象模块（IF-IM）来缓解缺失模态预测过程中的模态差距，从而提高多模态联合表示的鲁棒性。

多模态融合是多模态学习领域的研究热点。以往的多模态融合任务大多是基于完整模态的。现有的缺失多模态融合研究没有考虑模态的随机缺失，缺乏鲁棒性。大多数方法都是基于缺失模态和非缺失模态之间的相关性，而忽略了缺失模态的语境信息。考虑到以上两个问题，我们设计了一个基于缺失模态编码器的多多头关注网络（mmman - m2）。首先，利用多头注意力网络对整个序列进行潜在特征提取，表示单个模态，然后进行融合；然后，通过优化缺失和非缺失特征数据的多模态融合结果提取缺失模态上下文特征，并通过编码模块对缺失模态进行编码；最后，利用

在以往的研究中，多模态融合已被证明可以提高情绪识别的性能。然而，在实际应用中，我们经常会遇到模态丢失的问题，而哪些模态会丢失是不确定的。这使得固定多模态融合在这种情况下失效。在这项工作中，我们提出了一个统一的模型，缺失情态想象网络（MMIN），以处理不确定的缺失情态问题。MMIN学习鲁棒联合多模态表示，在给定可用模态的情况下，可以预测任意缺失模态在不同缺失模态条件下的表示。在两个基准数据集上的综合实验表明，统一的MMIN模型在不确定缺失模态测试条件和全模态理想测试条件下都显著提高了情绪识别性能。

不确定缺失模态的多模态情感分析对情感分析提出了新的挑战。为了解决这个问题，已经提出了考虑缺失模态的有效MSA模型。然而，现有研究仅采用拼接操作进行特征融合，忽略了不同模态之间的深层相互作用。此外，现有的研究未能充分利用文本情态，而情态在情感分析中可以达到更高的准确性。为了解决上述问题，我们提出了一种基于模态翻译的MTMSA模型（MTMSA），该模型对不确定缺失模态具有鲁棒性。

多模态情感分析旨在从多个数据源提取情感，通常假设所有模态都可用。在实践中，这样一个强有力的假设并不总是成立，当部分模态缺失时，大多数多模态情感分析方法可能会失败。一些现有的作品已经开始解决缺少情态的问题；但是只考虑了单一模态缺失的情况，而忽略了实际更普遍的多模态缺失的情况。为此，在本文中，我们提出了一个TagAssisted Transformer Encoder （TATE）网络来处理不确定模态缺失问题。具体来说，我们设计了一个标签编码模块来覆盖单模态和多模态的缺失情况，从而引导网络关注那些缺失的模态。

MSA的目的是从视频、音频和文本中预测人们的情绪。MFN[30]和EF-LSTM[27]等模型可以处理对齐的多模态数据，这意味着音频和视觉的帧与文本模态中的单词具有明确的对应关系。为了处理更实际的场景，MSA模型正逐步扩展到非对齐多模态数据输入领域。TFN[29]和LMF[13]使用基于张量的方法获得话语的联合表示。MulT[22]利用跨模态变压器处理未对齐的多模态数据。MISA[10]学习每个模态的模态不变和特定表示，以改进融合过程。