- 博客(11)
- 收藏
- 关注
RSS订阅原创 缺失模态的深度多模态学习研究综述
图学习方法通过建立模态间的图结构，利用图的关系动态融合不同模态的数据，进而弥补缺失的模态信息。它们逐渐将数据“扩散”到目标模态，生成缺失的模态信息。这些方法利用已有的模态信息来生成缺失的模态，从而弥补数据的不足。表示生成方法的目标是通过生成模型来补充缺失模态的表示，使得即使在某些模态缺失的情况下，也能保持任务的良好性能。内模态注意力方法关注单一模态内部的关系，首先对每个模态进行独立的注意力计算，然后将不同模态的表示进行融合。这种方法在模态数据层面进行处理，目标是通过填补缺失的模态数据来恢复完整的模态信息。
2025-03-14 19:05:41
554
原创 多模态情感分析的知识导向动态模态注意力融合框架（2024）
此外，通过获得的多模态表示，该模型可以通过相关性评估损失进一步突出主导模态的贡献。多模态情感分析（MSA）利用多模态数据来推断用户的情感。，这忽略了每种情态可能成为主导的情况。本文提出了一种用于多模态情感分析的。知识引导动态模态注意力融合框架。
2025-03-04 11:08:58
233
原创 Semi-IIN：用于多模态情感分析的半监督模态内交互学习网络
由于不同模态（文本、视觉、音频等）之间的特征并不总是完全匹配，因此掩蔽不相关的模态间交互信息是十分必要的。掩蔽注意力机制（Masked Attention Mechanism）是多模态情感分析中的关键部分，旨在提高模型对情感信息的提取能力，并减少不相关信息的干扰。通过引入动态的“门控”策略来管理不同模态的信息流动，它能够灵活地控制每个模态及模态间信息的传递，优化多模态信息的融合过程。为了进一步提升模型的性能，本文设计了一种自训练策略，利用未标注的数据进行情感知识的蒸馏。（模态间掩蔽注意力）。
2025-02-26 20:50:51
424
原创 DLF：以语言为中心的多模态情感分析（2024）
LFA的设计目标之一是减少模态间的冗余和冲突。通过将视觉（V）和音频（A）模态的特征与语言模态的特征融合，LFA有效地增强了语言特征的表达能力，特别是在情感分析任务中，语言通常是主导模态。该模块使用一个共享编码器和三个模态特定编码器，将输入的多模态特征分解为共享的（Shm）和特定模态的（Spm）特征空间，分别表示语言（L）、视觉（V）和音频（A）三个模态。解耦过程完成后，DLF将共享和特定模态的特征通过连接操作（⊕）进行融合，再通过卷积解码器（D_m）重构出每个模态的输入特征，得到新的特征表示（X′m）。
2025-02-20 16:55:50
1019
原创 CLGSI：基于情感强度引导的对比学习的多模态情感分析框架(2024)
传统的对比学习方法通常关注的是样本对之间的相似性或差异性，但在情感分析中，样本之间的情感强度差异（如情感的正负程度）往往具有更重要的意义。在对比学习的优化过程中，CLGSI通过引入情感强度差异的权重，使得模型能够在训练时不仅学习到样本间的相似性，还能够有效捕捉到不同情感强度样本间的细微差异，从而提高模型对情感细节的敏感度。基于对比学习的MSA方法涉及三个重要问题：（1）正负样本对的选择，（2）在学习过程中对不同正负样本的关注，（3）对比学习后获得的情态表征的整合。继续进行卷积操作，获取更为精细的局部信息。
2025-02-15 18:10:47
811
原创 自适应语言引导的多模态变换器：通过抑制视觉和音频中的无关信息来改进情感分析（14 Dec 2023）
我们提出了一种新颖的自适应语言引导的多模态变换器（ALMT），旨在通过解决视觉和音频模态中干扰信息的负面影响，提升多模态情感分析（MSA）的性能。接着，我们引入了一个自适应超模态学习（AHL）模块，该模块利用具有主导性的不同尺度的语言特征，指导视觉和音频模态生成中间超模态标记，该标记包含更少的与情感无关的信息。此外，不同模态间的无关信息（如视频中的背景噪声或音频中的环境干扰）可能会影响情感分析的效果，尤其是在视觉和音频模态中，非主导信息的干扰可能会显著降低模型的性能。ALMT的核心思想是通过。
2025-01-17 17:35:25
1175
原创 不完全模态多模态情感分析的相关解耦知识提取
多模态情感分析（MSA）旨在通过多模态数据理解人类情感。大多数MSA的研究都假设模态是完整的。然而，在实际应用中，一些实际因素导致模态的不确定缺失，这会严重降低模型的性能。为此，我们提出了一种在不确定缺失模态情况下进行MSA任务的。
2024-12-30 20:32:11
1053
1
原创 缺失模态的多模态提示学习用于情感分析和情绪识别
多模态模型的开发显著推动了多模态情感分析和情绪识别的进展。然而，在实际应用中，缺失模态的情况经常发生，导致模型性能下降。为了解决这个问题，本文提出了一种新型的多模态Transformer框架，利用提示学习来处理缺失模态。我们的模型引入了三种类型的提示：生成提示、缺失信号提示和缺失类型提示。这些提示能够生成缺失的模态特征，并促进模态间和模态内信息的学习。
2024-12-21 15:17:52
1492
1
原创 基于不完整数据的鲁棒多模态情感分析
多模态情感分析（MSA）领域最近见证了一个新兴的方向，寻求解决数据不完整的问题。认识到语言模态通常包含密集的情感信息，我们将其视为主导模态，并提出了一种创新的语言主导抗噪声学习网络（LNLN）来实现鲁棒的MSA。所提出的LNLN具有主导模态校正（DMC）模块和基于主导模态的多模态学习（DMML）模块，通过保证主导模态表示的质量，增强了模型在各种噪声场景下的鲁棒性。
2024-12-12 13:45:42
856
原创 基于多模态方面的情感分析的数据不确定性感知学习
多模态基于方面的情感分析侧重于从开放域图像-文本对数据中学习跨模态细粒度情感语义。以往的研究提出，该任务面临两个核心挑战：（1)挖掘和利用视觉情感线索。（2)文本对数据弱监督下的跨模态细粒度对齐。我们认为，多模态数据的不确定性也是该任务的核心挑战之一。在实际应用中，多模态数据中的噪声是不可避免的，它会严重影响MABSA模型的性能。数据的不确定性会直接导致视觉模态信息挖掘效果不佳，并在跨模态细粒度对齐学习阶段引入大量噪声。因此，有必要在多模态细粒度情感分析模型中引入数据不确定性评估。
2024-12-08 09:45:00
1134
原创 不确定缺失模态下多模态情感分析的不一致性缓解
针对多模态情感分析中的情态缺失问题，当情态缺失导致情感发生变化时，会出现不一致现象。决定整体语义的缺失情态可以被认为是关键的缺失情态。然而，以前的研究都忽略了不一致现象，简单地丢弃缺失的模态，或者仅仅从可用的模态中生成相关的特征。忽略关键的缺失情态格可能导致错误的语义结果。为了解决这个问题，我们提出了一个基于集成的缺失模态重构（EMMR）网络来检测和恢复关键缺失模态的语义特征。具体来说，我们首先通过主干编码器-解码器网络学习剩余模态的联合表示。
2024-12-02 16:41:30
967
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人