【论文精读】| KBS2023-TMBL-多模态情感分析系列文章解读

最新推荐文章于 2024-09-16 16:39:22 发布
最新推荐文章于 2024-09-16 16:39:22 发布
阅读量7.5k 收藏 49
点赞数 26
分类专栏： 神经网络 多模态增强学习 文章标签： python 人工智能 计算机视觉 语言模型 深度学习 分类算法 情感分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JackCrum/article/details/138815214
版权

TMBL: Transformer-based multimodal binding learning model for multimodal sentiment analysis

一. KBS2023-TMBL-用于多模态情感分析的极向量和强度向量混合器模型

1 Abstract

多模态情感分析是人机交互研究的重要方向，它可以通过同时分析文本、视频和声音特征来准确识别个体的情绪状态。尽管当前的情绪识别算法使用多模态融合策略表现良好，但仍然存在两个关键挑战。第一个挑战是在融合之前有效提取模态不变和模态特定的特征，这需要不同模态之间的深层特征交互。第二个挑战涉及区分模态特征之间的高级语义关系的能力。为了解决这些问题，我们提出了一种新的模态绑定学习框架，并重新设计了 Transformer 模型的内部结构。我们提出的模态绑定学习模型通过结合双模态和三模态绑定机制解决了第一个挑战。这些机制分别处理模态特定和模态不变的特征，并促进跨模态交互。此外，我们通过在变压器结构的前馈层和注意层中引入细粒度卷积模块来增强特征交互。为了解决第二个问题，我们分别引入了 CLS 和PE特征向量来表示模态不变和特定模态特征。我们使用相似性损失和相异性损失来支持模型收敛。在广泛使用的 MOSI 和 MOSEI 数据集上的实验表明，我们提出的方法优于最先进的多模态情感分类方法，证实了其有效性和优越性。源代码 可以在 https://github.com/JackAILab/TMBL 找到。

1.1 Motivation

多模态情感分析旨在判断互联网用户在各种社交媒体平台上上传的多模态数据的情感。

（1）然而，一方面，现有研究侧重于文本、音频和视觉等多模态数据的融合机制，而忽略了文本与音频、文本与视觉的相似性以及音频与视觉的异质性

最低0.47元/天 解锁文章
文献阅读6-TMBL: Transformer-based multimodal binding learning model for multimodal sentiment analysis
m0_61931726的博客
04-06 203
通过引入额外的卷积模块层来增强传统Transformer模型的表示能力。MBTA模块通过计算跨模态的注意力权重来促进不同模态之间的信息交互。GBFN模块通过门控机制来捕获模态间的差异，并更好地整合来自不同模态的特征。它通过将特征分成不同的集合，并利用激活函数来控制信息流。：将所有模态的特征投影到相同的隐藏层维度，并使用类似于CLIP模型的方法来获得跨模态权重矩阵。：涉及两种模态之间的特征交互和融合。这可能通过共享的模态特征和模态特定特征的结合来实现。BERT提取文本特征，LSTM提取音频特征和图片特征。
论文精读-DeepFM
热门推荐
zynash2的博客
03-08 1万+
目前的CTR预估模型，实质上都是在“利用模型”进行特征工程上狠下功夫。传统的LR，简单易解释，但特征之间信息的挖掘需要大量的人工特征工程来完成。由于深度学习的出现，利用神经网络本身对于隐含特征关系的挖掘能力，成为了一个可行的方式。DNN本身主要是针对于高阶的隐含特征，而像FNN（利用FM做预训练实现embedding，再通过DNN进行训练，有时间会写写对该模型的认识）这样的模型则是考虑了高阶特征，...
【论文精读】DeepFirearm: Learning Discriminative Feature Representation for Fine-grained Firearm Retrieval
luuuyi的博客
09-06 4948
DeepFirearm: Learning Discriminative Feature Representation for Fine-grained Firearm Retrieval INTRODUCTION 这是最近看的一篇文章，论文并没有太多方法上的创新点，但是将神经网络用于现代武器的检索，方向挺新奇的。所以记录一下。论文之初作者就指出现在CNN发展得很好，网络上像Faceboo...
精读了一篇论文
天天向上的专栏
10-06 2589
研究方向越是偏数学，一些参考文献的论文或许很难看懂。这次拒稿原因之一，就是某一篇重要的参考文献没有引用。我当时读了这一篇论文，但是那时候没有理解里面的证明是怎么推出来的。不过，时隔一年半，经过不少数学方面的阅读，数学水平明显比以前是高了点，起码我现在能够完全理解这篇论文的证明过程了。 这篇论文是：Gallego G, Scheller-Wolf A. Capacitated inventory p...
如何精读论文
weixin_48878618的博客
07-27 1232
第三遍：读懂每一句话的含义，思考作者提出了什么问题，又如何解决这个问题，换做是你你会如何解决，能否有改进，对于实验部分作者如何做的实验，换做是你又会如何做这个实验，最后对于作者尚未完成的部分或者说展望部分，你是否能解决。第一遍：看标题（tittle）方向是否和自己相关，看摘要（abstract）这篇文章讲了什么，看结论（conclution）这篇文章的数据证明，看看实验（experience）和图表，判断论文质量，决定是否泛读。
如何精读一篇论文？
深度学习与计算机视觉
10-25 1037
作为一枚CVer，怎样才能出成绩？计算机视觉算是人工智能的几个分支中，竞争最激烈的方向之一了，内卷也最为严重。对于已然入坑的研究生宝宝，想要一路打怪升级，论文必定是最大的那个task。说到打怪升级需要做哪些准备？毫无疑问，前期当然是要啃Paper、复现Paper呀！尤其是个各大顶会论文，作为Al发展的风向标。每一次论文出来，都有一堆人等着收集整理、研读复现，从中get idea。But！在复现P...
毕设参考论文精读
LHF_debug的博客
02-23 360
第二节第二小节  RAD 攻击代价 1.不可达目的地 C1/censor 2.不可达域 C2/censor 3.路由长度增长 C3/censor 4.NVF路径耗费 C4/censor 5.非最优路由 C5/censor 6.新传输自治域 C6/censor 第三节 注释及定义 三种类型参与者：审查者，诱饵，自治者 ASi为第i个自治系统 Acens为审查控制下的自治域集合 ...
如何读论文[论文精读]
Highlight_Jin的博客
10-23 3665
如何读论文[论文精读] 一、论文一般分为以下几个部分 1.title 2.abstract 3.introduction 4.method 5.experiment 6.conclusion 二、如何花3遍读一篇论文 1.第一遍： 关注标题、摘要，读完摘要直接跳到结论。这篇论文title是什么东西，和自己是不是相关；摘要是简单介绍自己的论文是在做什么事情；结论通常和摘要是一样的，但是摘要里面可能提出一两个问题，用一些实际的结论、实际的数字给你证明一下。读完这三个部分，大概知道这篇论文是在讲什么内容。然后跳到
精读论文（1）------RegularFace
qq_33824968的博客
06-19 2758
好久没读新论文，今天找的这篇论文可读性非常高，很适合精读。 RegularFace: Deep Face Recognition via Exclusive Regularization 摘要： 传统的人脸识别都是希望同一类别的图片在特征空间中距离比较近，而不同类别在特征空间中距离比较远（The Intra-class compactness and inter-class separabilit...
【推荐系统论文精读系列】(九)--Product-based Neural Networks for User Response Prediction
优快云 精品推荐
11-23 1186
文章目录Product-based Neural Networks for User Response Prediction一、摘要二、介绍三、相关工作四、深度学习用于CTR评估References Product-based Neural Networks for User Response Prediction 一、摘要 预测用户的反应，如点击和转换，是非常重要的，并已发现它在许多网络应用程序中使用，包括推荐系统、网络搜索和在线广告。这些应用程序中的数据大多是分类的，包含多个字段；典型的表示是通过一个热
2020-多模态情绪识别研究综述1
08-03
摘要：本文针对多模态情绪识别这一新兴领域进行综述。首先从情绪描述模型及情绪诱发方式两个方面对情绪识别的研究基础进行了综述。接着针对多模态情绪识别中的信息融合这一
论文精读系列-2021.11.12
qq_37069937的博客
07-24 169
你所不了解的word文档
（2023）基于多模态概率融合提示的少样本多模态情感分析
大肉包的博客
04-11 1881
为了减少不同模式提示的差异，设计了由图像描述提示和文本提示组成的统一的多模式提示。为了提高模型的鲁棒性，利用每个输入的多个不同提示，并提出了一种概率方法来融合输出预测。且不同的提示包含不同数量的信息，单一提示所传达的信息是不够的。2. 设计了统一的多模态提示来减少不同模态提示的差异，并设计了概率融合方法来聚合多个多模态提示的预测，以提高模型的鲁棒性。对于图像模态，首先生成每个图像的文本描述，并将其编码为文本提示，以提高图像和文本提示的兼容性。提出了一种新的概率融合方法来融合来自多模态提示的多个预测。
论文精读报告-How to Read a Paper
咸鱼咸的博客
04-30 4145
不积小流，无以成江海。
（五十二）：多模态情感分析研究综述_张亚洲
Wangzx的博客
09-24 1842
（五十二）多模态情感分析研究综述_张亚洲Abstract1 叙述式多模态情感分析1. 1 静态多模态情感分析（文本与图像划分为静态文档）1. 1. 1 基于机器学习的方法1. 1. 2 基于深度学习的方法1. 2 动态多模态情感分析（音频与视频划分为动态文档）1. 2. 1 基于机器学习的方法1. 2. 2 基于深度学习的方法2 交互式多模态情感分析2. 1 多模态会话情感数据集2. 2 多模态会话情感分析模型3 多模态情感分析存在的交互建模科学问题3.1 模态内的词项交互问题3. 2 模态间的多模态交互问
多模态情感分析研究综述 论文笔记
SG_teresa's blog
06-03 6811
论文标题： 《多模态情感分析研究综述》 引言： 多模态情感分析现已成为自然语言处理领域的核心研究课题之一，分为两类子课题： 1、叙述式多模态情感分析 2、交互式多模态情感分析 论文学术结构（顺序）： 1、从情感分析这个大方面出发，结合现代社会人们利用多媒体的趋向性（趋向多种媒体形式），引出两个多模态情感分析的子课题，由此展开叙述。 2、介绍叙述式多模态情感分析。 1）提出3种多模态融合方法：特征级融合、决策级融合、包含两者的混合融合。 a.特征级融合：每种模态的特征向量通过特征融合单元融合为一个多模态特征
情感分析研究的新视野
AI公园
03-10 1212
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Caroline Brun编译：ronghuaiyang导读对情感分析研究领域做了非常好的总结和展望。假新闻、受欢迎程度、...
ER综述论文阅读-Emotion Recognition from Multiple Modalities:Fundamentals and Methodologies
m0_49940316的博客
09-16 2331
Q1期刊；2021人类是情绪化的生物。当我们表达情感时，通常涉及多种形式，无论我们是显性地(例如，面部表情、语音)还是隐含地(例如，文本、图像)。使机器具有情绪智能，即识别、解释、处理和模拟情绪，正变得越来越重要。在本教程中，我们将讨论多模式情感识别(MER)的几个关键方面。我们首先简要介绍了广泛使用的情感表征模型和情感通道。然后，我们总结了现有的情感标注策略和相应的计算任务，并对MER中的主要挑战进行了描述。
多模态情感分析論文方向
最新发布
05-02
### 多模态情感分析的研究方向与最新进展 #### 1. 研究背景与发展现状 多模态情感分析是一种综合多种数据形式（如文本、图像、音频、视频等）来提升情感识别准确性的方法。相比于传统的单一模态情感分析，这种方法能够更全面地捕捉复杂的人类情绪表达方式[^1]。近年来，随着深度学习技术和大规模预训练模型的发展，特别是大型语言模型（LLMs）的兴起，多模态情感分析领域取得了显著进步。 #### 2. 当前主要研究方向 以下是当前多模态情感分析的主要研究方向： ##### (1) **跨模态特征融合** 有效的跨模态特征融合是实现高质量多模态情感分析的核心之一。现有研究表明，通过设计复杂的注意力机制和绑定学习框架可以提高模态间的交互能力[^3]。例如，在TMBL框架中，研究人员提出了一种新的模态绑定学习方法，用于解决模态特定和模态不变特征的有效提取问题。 ##### (2) **文本增强模块** 虽然多模态数据分析涉及多个维度的信息，但文本仍然是最核心的部分，因为它通常携带了更为丰富的上下文信息[^2]。一些最新的工作专注于开发专门针对文本模态的增强模块，以便更好地与其他模态协同作用。 ##### (3) **记忆注意力机制** 为了克服传统深度模型忽略全局记忆信息的问题，某些新型架构引入了记忆注意力模块。这种改进有助于保留长时间序列中的重要情感线索并改善整体性能。 #### 3. 最新技术突破 - **Transformer 结构优化**: 跨模态 Transformer 的应用使得目标模态之间差异性得以更好地区分，并促进了共同表示的学习效率[^4]。 - **伪标签生成**: 对于缺乏标注的情况，ULGM 方法被用来生成单模态的情感伪标签，这对于半监督或多任务设置下的训练非常有用。 #### 4. 应用场景扩展 除了理论和技术层面的进步外，实际应用场景也在不断拓展。比如虚拟助手、在线教育平台以及心理健康监测等领域都开始尝试利用先进的多模态情感分析工具来进行用户体验评估或者心理状态监控[^1]。 #### 5. 面临挑战及未来趋势 尽管取得了很多成就，但仍存在几个亟待解决的关键难题： - 如何进一步加强不同感官通道间深层次关联的理解； - 设计更加鲁棒且可解释性强的新一代算法体系； - 推动标准化评测基准建设以促进公平比较等等。 --- ### 示例代码片段展示 下面给出一段简单的 Python 实现示例，演示如何加载常用的数据集 MOSI 并执行基础操作: ```python import torch from datasets import load_dataset def prepare_mosi_data(): dataset = load_dataset('microsoft/MOSI') train_texts = [item['text'] for item in dataset['train']] val_texts = [item['text'] for item in dataset['validation']] test_texts = [item['text'] for item in dataset['test']] labels_train = torch.tensor([float(item['label']) for item in dataset['train']]) labels_val = torch.tensor([float(item['label']) for item in dataset['validation']]) labels_test = torch.tensor([float(item['label']) for item in dataset['test']]) return { 'train': {'texts': train_texts, 'labels': labels_train}, 'val': {'texts': val_texts, 'labels': labels_val}, 'test': {'texts': test_texts, 'labels': labels_test} } data_dict = prepare_mosi_data() print(f"Training samples count: {len(data_dict['train']['texts'])}") ``` ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值