TETFN情感计算的实践复现-优快云博客

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢获取更多信息和资源。✨✨🌙🌙

本文所有资源均可在该地址处获取。

一、概述

本文讲解并复现了2024年一篇多模态情感计算的文章 “TETFN: A text enhanced transformer fusion network for multimodal sentiment analysis”，这篇论文利用三种模态之间进行交互，并对文本模态进行增强，以更准确的提取非文本模态的情感信息。

二、论文地址

TETFN

三、研究背景

随着社交媒体和短视频行业的快速发展，来自文本、视频和音频的多模态数据呈现爆炸式增长。与此同时，捕获设备的广泛使用，加上其易用性、移动性和低成本，使得从不同用户捕获情感线索变得容易，这与人类语言交流相同。这三种情态在表达过程中既有语义上的联系又有互补性。因此，在多模态情感分析中的一个关键问题是如何设计一种多模态融合方案来有效地集成异构数据，以便学习包含更多情感相关信息的多模态表示，同时保持每个模态的一致性和差异性信息。

四、主要贡献

本文提出了一种文本增强型Transformer融合网络，该网络通过面向文本的多头注意机制和文本引导的跨模态映射来获得模态间的一致性，并通过单峰预测来保持差异化信息；
利用视觉预训练模型ViT对原始视频进行预处理和特征提取，以获得具有全局和局部信息的视觉特征；
在增强文本模态表示的同时，利用文本模态信息充分提取非文本模态特征，并充分融合模态间表示，提高情感预测的准确性；

六、模型框架

下图是整体的TETFN模型框架：

接下来，我们对其中重要模块逐一进行讲解；
1. 特征提取

文本特征：使用预先训练好的语言模型Bert作为文本编码器，它可以为文本模态提供丰富的语义信息。给定原始句子S=w1，w2，...，wnS=w1，w2，...，wn，在将SS与两个特殊令牌[CLS][CLS]和[SEP][SEP]连接之后，将该序列输入到编码器中；然后，具有上下文信息的序列表示作为文本模态的输入；
视觉特征：至于视觉模态，使用预先训练的视觉模型Vision-Transformer（ViT）作为视觉编码器。视觉形态的情感主要通过面部表情来体现。同时，鉴于眼睛、嘴巴等特定器官更能反映人的情绪，因此本文采用ViT来获取人脸的全局和局部信息；
声学特征：对于音频模态，利用由COVERAP声学分析框架提取的音频手工特征。特征包括12个梅尔频率倒谱系数、音高、音量、声门源参数以及与语音的情绪和音调相关的其他特征。CMU-MultimodalSDK可以获得每个多模态示例的COVERAP特征序列；
上下文编码：鉴于说话人在视频中的情感表达是