（二十六）：Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multim

最新推荐文章于 2025-09-11 14:30:09 发布
最新推荐文章于 2025-09-11 14:30:09 发布
阅读量1.6k 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： 深度学习 知识图谱 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/117374472
该研究提出了一种新的自监督多任务学习策略，用于多模态情感分析，重点是学习模态特定表示。通过自动生成的单模态标签，该方法无需额外的人工注释，从而减少了劳动力成本。实验显示，这种方法在MOSI、MOSEI和SIMS数据集上优于现有方法，证实了自动生成标签的可靠性和稳定性。

文献阅读（二十六）：Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis

  • 出处： CoRR abs/2102.04830 (2021)
  • 标题：基于自监督多任务学习的多模态情感分析的学习模态特定表示
  • 智能技术与系统国家重点实验室+清华大学计算机科学与技术系
  • 代码：https://github.com/thuiar/Self-MM
  • 主要内容：多模态情感分类问题，工作关注的重点是不同模态间的相互关系。有效的多模态表示应该同时考虑不同模态的一致性和差异性，但统一的多模态标签限制了差异性，因此提出自监督的标签生成模块来获得单模态标签，并通过多模态任务和单模态任务联合训练来学习模态一致性和差异性。

Abstract

Representation Learning（表示学习）是多模态学习中一项重要且具有挑战性的任务。有效的模态表示应该包含两部分特征：一致性和差异性。由于采用了统一的多模式注释，因此现有方法在捕获差异信息方面受到了限制。然而，额外的单模态注释是需要大量时间和劳动力成本。
在本文中，我们设计了基于自我监督学习策略的标签生成模块，以获取独立的单模态监督。然后，联合训练多模态和单模态任务，分别学习一致性和差异性。
此外，在训练阶段，我们设计了权重调整策略来平衡不同子任务之间的学习进度。就是：指导子任务将注意力集中在模态监督之间差异较大的样本上。
最后，我们对三个公共多模态基线数据集进行了广泛的实验。
实

了解本专栏 订阅专栏 解锁全文
Learning Modality-Specific Representation with Self-Supervised Mulit-Task Learning for MSA
Bourne___1的博客
03-15 2943
自监督多任务学习用于多模态情感分析 Learning Modality-Specific Representation with Self-Supervised Mulit-Task Learning for Multimodal Sentiment Analysis Abstract 多模态数据集只是给三个模态定一个统一的标签，要对每一个单独模态标注非常费时费力，但是每一个单独模态的有不同的信息。 本文基于自监督学习（self-supervised learning）提出了标签生成模块用于获得每一个单独
2021AAAI）Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for MSA
qq_52679708的博客
08-20 694
表征学习是多模态学习中一个重要而富有挑战性的课题。有效的情态表达应包含一致性和差异性两部分特征。由于统一的多模态标注，现有方法在捕获差异化信息时受到限制。然而，额外的单模态注释需要耗费大量的时间和人力。在本文中，我们设计了一个基于自监督学习策略的标签生成模块来获取独立的单峰监督。然后，对多模态和单模态任务进行联合训练，分别学习一致性和差异性。此外，在训练阶段，我们设计了一个权重调整策略来平衡不同子任务之间的学习进度。即引导子任务关注情态监督差异较大的样本。
Data2Vec 技术研究与应用全面解析：多模态自监督学习框架
最新发布
weixin_41413777的博客
09-11 1122
人工智能领域近年来的突破性进展很大程度上得益于自监督学习（self-supervised learning）技术的发展，它使机器能够不依赖标记数据进行学习。然而，当前主流的自监督学习算法通常局限于单一模态（如图像或文本），并且需要大量计算资源，这与人类的学习方式形成鲜明对比 —— 人类能够以类似的方式从不同模态的信息（视觉、听觉、嗅觉）中学习，而不是依赖于图像、文本、语音和其他形式的单独学习机制。
多模态自监督 论文
weixin_40875443的博客
05-08 1476
多模态情感分析 多个任务，一个多模态任务和三个单模态任务。多模态任务监督学习，单模态任务自监督学习 主要创新点：前两条都是针对单模态学习任务的。大模型可能是参考文献Yu et al. (2020a), 参考的文章也是一个多模态和多个单模态组成的多任务学习模型，但都是监督学习。 提供了代码 ...
【NLP】文献翻译5——用自我监督的多任务学习学习特定模式的表征，用于多模态情感分析
YoungSeng's Blog
04-17 2687
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis摘要1. 介绍2. 相关工作2.1 多模态情感分析2.2 Transformer and BERT2.3 多任务学习3. 方法论3.1 任务设定 文献信息： 标题：用自我监督的多任务学习学习特定模式的表征，用于多模态情感分析 作者：Wenmeng Yu, Hua Xu, Z
2019 TIP之ReID：Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati
makabaka的博客
02-26 1615
Learning Modality-Specific Representations for Visible-Infrared Person Re-Identification 当前的问题及概述： 由于不同的视觉特征，在异构模式下匹配行人非常具有挑战性。 模型及loss： 2.1Overview： 图中可以看到，本文1）为每个域建立一个特定于模态的网络和一个特定于模态的loss函数，以便在特征提...
ER论文阅读-LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion R
m0_49940316的博客
09-23 1141
在获得三种模态的特征表示后，我们设计了一种带有跨模态块（CB-Transformer）的新型Transformer，以实现不同模态的互补学习，主要分为局部时间学习、跨模态特征融合和全局自注意力表示。在跨模态特征融合部分，使用基于残差的模态交互方法，获取三种模态的融合特征。与单模态相比，多模态提供了更多的信息，能够充分反映情感状态。我们提出了一种高效的神经网络，使用CB-Transformer（LMR-CBT）从未对齐的多模态序列中学习融合模态的表示（仅0.41M参数），能够有效融合三种模态的交互信息。
论文笔记-AAAI21@基于自监督学习和多任务学习的多模态表示
loganzha的博客
06-25 1420
论文信息 论文全名 Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis 论文会议：AAAI2021 论文地址 https://ojs.aaai.org/index.php/AAAI/article/view/17289/17096 代码地址 https://github.com/thuiar/Self-MM 论文背景 这篇论
【FCS】LMR-CBT用CB变换器学习模态融合表征，从不一致的多模态序列中进行多模态情感识别——CCF T1
ECNU乐扣老师——区块链、可计算情感
05-05 544
现有的方法是使用方向性的成对注意或信息枢纽来融合语言、视觉和音频模态。然而，这些融合方法相对于模态序列的长度来说往往是二次复杂的，带来了冗余的信息，而且效率不高。在本文中，我们提出了一个高效的神经网络，通过CB-Transformer（LMR-CBT）学习模态融合表征，用于从未对齐的多模态序列中识别多模态情感。
论文 Self-MM 解读
Neo的战斗部
04-13 2649
Learning Modality-Specific Representations with Self-SupervisedMulti-Task Learning for Multimodal Sentiment Analysis 摘要 1.设计了一种标签生成模块，获得独立的单模态标签 2.设计权重调整策略，平衡不同子任务之间的学习进程 特征学习中 前向引导 ：捕捉不同模态之间的差异信息 后向引导：附加损失函数作为先验约束，使得模态表征既包含一致信息又包含互补信息 paper的贡献： 1.
多模态预训练 + 自监督学习 + 下游任务介绍
Scabbards_的博客
07-26 3410
常见自监督学习，包含基于对比学习的视觉自监督算法和基于mask的视觉自监督算法，主要是概念；下游任务包括跨模态检索，zeroshot分类，Image Captioning，主要 指个北
自监督学习 | (2) 一文读懂 Self-Supervised Learning
sdu_hao的博客
03-10 8083
原文地址 **导读：**最近 self-supervised learning 变得非常火，首先是 kaiming 的 MoCo 引发一波热议，然后最近 Yann 在 AAAI 上讲 self-supervised learning 是未来。所以觉得有必要了解一下 SSL，也看了一些 paper 和 blog，最后决定写这篇文章作为一个总结。 什么是Self-Supervised Learnin...
一文读懂自监督学习
热门推荐
zandaoguang的博客
03-13 1万+
公众号关注“视学算法”设为 “星标”，DLCV消息即可送达！来自| 知乎作者丨Sherlock来源丨https://zhuanlan.zhihu.c...
自监督学习(Self-Supervised Learning)多篇论文解读（下）
吴建明wujianming_110117
05-30 2573
自监督学习(Self-Supervised Learning)多篇论文解读（下） 之前的研究思路主要是设计各种各样的pretext任务，比如patch相对位置预测、旋转预测、灰度图片上色、视频帧排序等等。CVPR19和ICCV19上，Google Brain的几个研究员发表了两篇论文，从另外的视角分析和研究self-supervised learning问题。两篇paper名字分别是：Revisiting Self-Supervised Visual Representation Learning (CVP
多模态自监督学习（Multimodal Self-Supervised Learning, MSRL）
gaesarGatt的博客
12-08 2045
多模态自监督学习是一种重要的机器学习方法，旨在从多种模态的数据中学习有效的表示，而无需依赖大量标注数据。自监督学习通过从数据本身生成标签来进行学习，因此具有很高的潜力，尤其适用于多模态数据（如图像、文本、语音、传感器数据等）中的表示学习。和。
多模态情感分析
weixin_40875443的博客
05-12 2552
多模态分析数据集（Multimodal Dataset） 不只情感分析 《Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis》 阅读笔记
多模态情感分析论文解读——CTFN模型
qq_44609058的博客
04-20 8797
论文：CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion Network 论文链接：其中couple learning能够并行的进行双向跨模态的相互关联，本文通过(text,video)、(audio,text)、(audio,video)3个CTFN模块结合使用以弥补模态缺失。 论文、动机及相关工作介绍 该论文发布在ACL-2021，由浙江省脑机协...
近3三年多模态情感分析论文及其代码
qq_41458274的博客
03-23 1万+
star:444；CMU-MOSEI的sota4;CMU-MOSEI排行第3。MOSI数据排行第1。在CMU-MOSE数据集排行榜。在MOSI数据集排行榜。
多模态深度学习方法简介
chumingqian的博客
06-17 2005
模态联合学习是一种将多个模态的信息融合在一个模型中进行联合训练的方法。跨模态学习是一种将一个模态的特征转换为另一个模态的特征表示的方法。多模态自监督学习是一种无需标注数据，通过模型自身学习来提取多个模态的特征的方法。
Modality-Specific Residual Network for Multimodal Sentiment Analysis
03-11
<think>嗯，用户想了解多模态情感分析中的特定于模态的残差网络的研究和实现。首先，我需要确认什么是多模态情感分析。根据引用[1]，它涉及处理来自不同模态（如文本、音频、视觉）的数据，用于分析情感，尤其是在模态缺失的情况下。然后，特定于模态的残差网络可能指的是针对每个模态设计的网络结构，可能结合残差连接来提升性能。 接下来，我需要回顾现有的研究。残差网络在计算机视觉中应用广泛，如ResNet和DenseNet（引用[2]），它们在处理深层网络时有效缓解梯度消失问题。多模态领域，可能需要将这种结构应用于不同模态的特征提取。例如，每个模态可能有独立的残差网络分支，再融合特征。 然后，用户提到的实现方面，可能需要参考具体的代码库。引用[1]中的EMMR项目可能包含相关实现，可以查看其GitHub代码。此外，引用[3]提到多模态预训练和跨模态检索，可能涉及模态特定网络的设计，比如如何处理不同模态的特征。 需要解决的问题包括：1）如何设计模态特定的残差网络结构；2）如何融合不同模态的特征；3）如何处理模态缺失或不确定性。例如，在EMMR中，可能使用特定模态的残差块来处理各自的数据，再通过某种机制（如注意力）进行融合，同时应对缺失模态的情况。 此外，用户可能需要了解现有的模型架构，比如是否每个模态都有独立的ResNet分支，以及如何在这些分支中加入残差连接。引用[2]提到的多尺度模型设计、FPN等可能对多模态特征融合有借鉴意义。比如，使用不同层级的特征进行融合，或者使用跨模态的注意力机制。 在实现上，可能需要使用深度学习框架如PyTorch或TensorFlow，构建多个残差网络分支，每个处理一个模态，然后将特征合并。同时，需要处理模态缺失的情况，比如通过零填充或生成替代特征，如引用[1]中的方法。 可能的相关问题包括优化方法、处理模态缺失的技术、如何评估模型性能等。需要确保回答结构清晰，步骤明确，并引用相关的文献和代码资源。</think>### 多模态情感分析中特定于模态的残差网络研究及实现 #### 1. 研究背景 多模态情感分析通过融合文本、语音、视觉等模态数据提升情感识别准确性[^1]。特定于模态的残差网络（Modality-Specific Residual Networks）通过以下方式优化模型性能： - **模态独立性**：为每个模态设计独立的残差分支，避免特征混淆。 - **梯度优化**：利用残差连接（如ResNet[^2]）缓解梯度消失问题，增强深层网络训练稳定性。 - **动态特征融合**：在高层通过注意力机制或加权融合整合多模态特征[^3]。 #### 2. 核心实现方法 ##### 2.1 残差网络设计 - **单模态分支**：每个模态（如文本、音频、视觉）使用独立的残差块。例如： ```python class ModalityResNet(nn.Module): def __init__(self, input_dim): super().__init__() self.res_layer1 = nn.Sequential( nn.Linear(input_dim, 256), nn.ReLU(), nn.Linear(256, 256) # 残差跳跃连接 ) def forward(self, x): residual = x x = self.res_layer1(x) x += residual # 残差相加 return x ``` - **跨模态特征对齐**：通过对比学习或对抗训练（如DANN）对齐不同模态的特征分布。 ##### 2.2 多模态融合策略 - **加权融合**：为每个模态分配动态权重，例如基于注意力机制： $$ \alpha_i = \text{softmax}(W \cdot h_i + b) $$ 其中$h_i$为第$i$个模态的特征，$\alpha_i$为其权重。 - **层级融合**：在残差块的不同层级进行特征交互（参考FPN[^2]的多尺度设计）。 #### 3. 研究进展 - **EMMR框架**：提出模态不确定性的鲁棒性处理方法，通过残差网络补偿缺失模态的影响。 - **跨模态预训练**：结合BERT等模型，在残差结构中嵌入跨模态对齐模块（如CLIP风格对比学习）。 #### 4. 实现示例（基于PyTorch） ```python class MultimodalResNet(nn.Module): def __init__(self, text_dim, audio_dim, visual_dim): super().__init__() # 模态特定残差分支 self.text_net = ModalityResNet(text_dim) self.audio_net = ModalityResNet(audio_dim) self.visual_net = ModalityResNet(visual_dim) # 融合层 self.attention = nn.MultiheadAttention(embed_dim=256, num_heads=4) self.classifier = nn.Linear(256, 3) # 情感分类 def forward(self, text, audio, visual): text_feat = self.text_net(text) audio_feat = self.audio_net(audio) visual_feat = self.visual_net(visual) # 跨模态注意力融合 fused, _ = self.attention(text_feat, audio_feat, visual_feat) return self.classifier(fused) ``` #### 5. 关键挑战与优化 - **模态缺失处理**：在残差网络中引入零初始化掩码或生成式补全（如GAN）。 - **计算效率**：使用分组卷积或模型蒸馏降低多分支计算开销。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值