关于多模态情感识别MULT模型复现遇到的问题

一颗2021 一颗2021 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 694平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄6年
关注
原创 2024-04-08 19:19:02 694 阅读 AI 写同款· GEO 优化 ›
【论文精读】| MulT —— Multimodal Transformer for Unaligned Multimodal Language Sequences 首篇跨模态Transformer 阅读详情

1.需要再main.py里的在DataLoader()中添加一个参数generator=torch.Generator(device=‘cuda’)，这样就可以在GPU上创建一个随机数生成器，而不是默认的CPU上的生成器。

2.需要将position_embedding.py的view（）函数换成reshape（），这是在colab的情况下。

3.data是需要自己创建文件夹，下载并解压，然后在main.py的–dataset参数中修改默认路径。

标签
#深度学习 #人工智能 #机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态 本博客系本人阅读该论文后根据自己理解所写，非逐句翻译，欲深入了解该论文，请参阅原文。 论文标题：Hierarchical Multi-modal Contextual Attention Network for Fake News Detection； 关键词：社交媒体，虚假新闻检测，多模态学习； 作者：Shengsheng Qian，Jinguang Wang，Jun Hu，Quan Fang，Changsheng Xu； 中国科学院大学，中国科学院模式识别国家重点实验室；合肥工业大学； 发表会 阅读详情

相关推荐

【论文阅读】Multimodal Fusion with Co-Attention Networks for Fake News Detection --- 虚假新闻检测，多模态融合

本博客系本人理解该论文之后所写，非逐句翻译，预知该论文详情，请参阅论文原文。 论文标题：Multimodal Fusion with Co-Attention Networks for Fake News Detection； 作者：Yang Wu, Pengwei Zhan, Yunjian Zhang, Liming Wang, Zhen Xu； 中国科学院大学； 出处：ACL 2021； 摘要： 靠人工识别谣言是费时费力的，所以急需自动识别谣言的模型。但是现有谣言检测模型在融合多模态特征方面

me_yundou的博客 1万+

ViLT-多模态论文复现

多模态经典论文，VILT论文复现。

盼你开心 3868

MulT模型

MulT模型（Multimodal Transformer）是一种用于处理未对齐多模态语言序列的Transformer模型。该模型由卡内基梅隆大学的Yao-Hung Hubert Tsai和Shaojie Bai等人于2019年提出，并在ACL 2019会议上发表。MulT模型的核心是跨模态注意力机制（Crossmodal Attention），它通过成对的跨模态Transformer模块实现不同模态之间的交互和融合。

百态·数智思维 | 聚焦大数据、量化与未来AI 2089

＜＜源码+配套教程＞＞多模态情感识别

本文介绍了一个基于多模态情感识别的具身机器人项目，通过整合文本、语音和视觉数据实现更精准的情感交互。项目采用IEMOCAP数据集和MulT（多模态Transformer）模型，包含数据预处理、跨模态特征融合和情感分类全流程。核心创新点在于利用跨模态注意力机制动态捕捉不同模态间的关联，解决了传统单模态识别中的歧义问题。项目已在GitHub开源（multimodal_emotion_net_test），提供完整代码实现和UI演示，为多模态情感计算研究提供了可复现的基准框架。未来可扩展更先进的融合模型和特征提取方

2301_78619377的博客 1278

多模态情感分析实战：跨模态注意力融合与模型复现

情感分析作为自然语言处理的核心任务，正从单一文本拓展到文本、语音、视觉等多种模态的综合判断。真实场景中，语气、表情与语义可能相互矛盾，仅依赖单一模态容易误判，这推动了多模态情感分析的兴起。技术演进上，早期简单加权融合已难以刻画模态间复杂关联，而基于注意力机制的Transformer结构成为主流，其中跨模态注意力通过让不同模态在时间步上相互参考，有效解决了特征对齐与信息互补的难题。这一技术不仅适用于社交媒体舆情监控、智能客服情绪识别等场景，也为学术研究与工程实践提供了高价值切入点。经典模型如MulT将跨模态注

weixin_34189116的博客 602

TETFN情感计算的实践复现（论文复现）

TETFN情感计算的实践复现（论文复现）

wei_shuo的博客 1405

多模态情感计算的发展趋势：MulT模型在抑郁症检测中的应用

这篇文章，我开始介绍第五篇情感计算经典论文模型，他是ACL 2019的一篇多模态情感计算的论文 “Multimodal Transformer for Unaligned Multimodal Language Sequences”，其中提出的模型是MulT；此外，原创部分为加入了抑郁症数据集以实现抑郁症检测任务，以及在SIMS数据集和SIMV2数据集上进行实验。CMU-MOSI数据集是MSA研究中流行的基准数据集。该数据集是YouTube独白的集合，演讲者在其中表达他们对电影等主题的看法。

博客之路,前途漫漫 2476

多模态COGMEN详解（论文复现）

多模态COGMEN详解（论文复现）

wei_shuo的博客 1351

多模态情感分析终极指南：从入门到精通MMSA框架

多模态情感分析框架MMSA是一款集成文本、语音和视觉信息的情感识别工具，通过多模态融合技术提升情感分析准确性。本文将带你全面掌握MMSA的安装配置、模型训练、数据集使用及性能调优等核心技能，助你快速构建专业的多模态情感分析应用。 ## 1. MMSA核心价值：为什么选择这款多模态框架 MMSA（Multimodal Sentiment Analysis）作为统一的多模态情感分析框架，为研究者和

gitblog_00356的博客 513

记忆注意力用于多模态情感计算！

近年来，社交媒体的快速扩张推动了用户生成内容的大幅增加，特别是视频。跨不同模态的自动情感分析已成为旨在增强人机交互的关键研究领域。情感分析最初专注于提取和分析通过文本传达的情感。然而，随着计算能力的提高和视听通信的兴起，多模态情感分析（MSA）已经出现。这种方法集成了文本，音频和视觉输入，以加深对人类情感的理解。MSA在教育、客户反馈分析、心理健康监测和个性化广告等多个领域都有应用，显著增强了我们在各种沟通形式中解释和应对情感线索的能力。多模态情感分析（MSA）试图整合来自视觉，听觉和文本来源的情感线索来预

程序猿追的博客 1317

多模态情感分析实战：从特征对齐到融合模型的完整解析

多模态情感分析作为自然语言处理与多模态学习的交叉方向，旨在融合文本、语音与视觉信号以全面判断情感状态。其核心原理在于对三种模态进行向量化表示，并通过时间对齐与融合策略实现信息互补。表示学习决定了特征质量的上限，而不同融合模型（如张量融合、跨模态注意力、门控机制）则影响最终效果。该技术在对话系统、短视频内容分析、心理辅助等场景中具有重要应用价值。本文基于一个完整开源项目，系统拆解多模态情感分析的全链路工程实践，覆盖数据集加载、表示学习、融合模型选型、训练配置与评估指标，并对特征缺失、维度不一致、显存瓶颈等常见

weixin_29090917的博客 248

CVPR2022 MulT: 端到端的多任务学习transformer

CVPR2022 MulT: 端到端的多任务学习transformer，一个端到端的多任务学习transformer框架MulT，该框架可以同时学习对各高级视觉任务，包括深度估计，语义分割，reshading重着色，表面法线估计，2D关键点检测和边缘检测。

qq_35831906的博客 6000

高通量测序数据分析：RNA-seq

深度测序相关数据库与数据格式 SRA toolkit 一、NCBI 和EBI、DDBJ组成INSDC，数据内容相同所以找NCBI就行。 （一）NCBI常用数据库 GenBank：遗传序列数据库，收集了所有公开的DNA序列及其注释 GEO (Gene Expression Omnibus) ：收集整理各种表达芯片数据，后来加入了甲基化、lncRNA、miRNA、CNV等其他芯片，还有高通量测序数据...

qq_41134363的博客 3万+

2019_ACL_Multimodal Transformer for Unaligned Multimodal Language Sequences

Multimodal Transformer for Unaligned Multimodal Language Sequences 论文地址：https://arxiv.org/abs/1906.00295 对多模态人类语言序列数据进行建模的主要挑战： 1.每种模态的序列的采样方法不同，因此不同数据是未对齐的（就是一段文字，采样后与之相匹配的视频片段或音频片段与之并未对其） 2.跨模态的元素之间的长期依赖关系（哭泣可能与之前所说过的话有关系） 本文提出MulT来解决上述问题。 通过电影评论的实例视频剪

tcn760的博客 4388

Unity接入Google登录：Credential Manager完整集成指南与避坑实践

在移动应用开发中，第三方登录是提升用户体验和降低注册门槛的关键技术。其核心原理是通过OAuth 2.0等授权协议，安全地获取用户在平台的身份凭证。对于面向海外市场的Unity应用，Google登录因其庞大的用户基数成为首选方案。然而，随着Android系统更新和隐私政策收紧，传统的WebView登录方式面临兼容性挑战。Credential Manager作为Google推出的现代化凭据管理API，通过系统级集成解决了这一问题，它统一了密码、通行密钥和第三方登录的调用接口，显著提升了登录成功率和原生体验。在U

weixin_28025327的博客 320

Fluent求解器——湍流参数的设置

Fluent湍流参数的介绍和设置。

Ronko_G的博客 4万+

MulT: An End-to-End Multitask Learning Transformer 多任务共享注意力

文章        同时学习多个高级视觉任务，包括深度估计、语义分割、reshading表面法线估计、2D 关键点检测和边缘检测。 与单个任务Transformer相比，跨任务联合培训的Transformer模型能否提高每个任务的性能？ 在基于Transformer的框架中，可以显式地对任务之间的依赖关系进行编码吗？ 多任务Transformer可以推广到相似领域吗？      &nb

ResumeProject的博客 2930

手把手教你学PCIE(9.3)--pcie常见故障及原因：配置错误介绍

PCIe 设备的配置错误可能涉及操作系统设置、BIOS 设置、驱动程序设置和配置文件设置等多个方面。通过以上方法，可以有效地诊断和解决 PCIe 设备的配置错误。

MHD0815的博客 2439

【传知代码】CENet及多模态情感计算实战（论文复现）

情感分析在人工智能向情感智能发展中起着重要作用。早期的情感分析研究主要集中在分析单模态数据上，包括文本情感分析、图像情感分析、音频情感分析等。然而，人类的情感是通过人体的多种感官来传达的。因此，单模态情感分析忽略了人类情感的多维性。相比之下，多模态情感分析通过结合文本、视觉和音频等多模态数据来推断一个人的情感状态。与单模态情感分析相比，多模态数据包含多样化的情感信息，具有更高的预测精度。目前，多模态情感分析已被广泛应用于视频理解、人机交互、政治活动等领域。

ztK63LrD的博客 1744

基于STM32F4XX 、HAL库的GXHT30C温湿度传感器驱动应用C语言程序设计

define GXHT30C_STATUS_WRITE_CHK (1 << 0) // 写数据校验状态。#define GXHT30C_STATUS_HUMI_TRACK (1 << 11) // 湿度跟踪报警。#define GXHT30C_STATUS_TEMP_TRACK (1 << 10) // 温度跟踪报警。#define GXHT30C_STATUS_CMD_STATUS (1 << 1) // 命令执行状态。

PP_Cottage的博客 227

拼多多Android面试题及参考答案

Android 系统采用分层架构设计，从底层到上层依次为Linux 内核层硬件抽象层（HAL）系统运行时库层应用框架层应用层，共五层。位置：Linux 内核层与系统运行时库层之间，是“硬件与系统的隔离层”。核心作用：屏蔽硬件差异，为上层提供统一的硬件访问接口，解决 Android 开源与硬件厂商闭源的矛盾，具体功能如下：硬件能力抽象：将硬件的具体实现（如不同厂商的摄像头芯片、音频芯片）封装为标准化接口（如Camera HALAudio HAL。

大模型大数据攻城狮的专栏 1284

（2023）基于多模态概率融合提示的少样本多模态情感分析

为了减少不同模式提示的差异，设计了由图像描述提示和文本提示组成的统一的多模式提示。为了提高模型的鲁棒性，利用每个输入的多个不同提示，并提出了一种概率方法来融合输出预测。且不同的提示包含不同数量的信息，单一提示所传达的信息是不够的。2. 设计了统一的多模态提示来减少不同模态提示的差异，并设计了概率融合方法来聚合多个多模态提示的预测，以提高模型的鲁棒性。对于图像模态，首先生成每个图像的文本描述，并将其编码为文本提示，以提高图像和文本提示的兼容性。提出了一种新的概率融合方法来融合来自多模态提示的多个预测。

大肉包的博客 2118

后仿真中《SDF反标必懂连载篇》之 探究 SDF延迟精度 与 timescale 精度问题

本篇文章，同样属于后仿真中的SDF反标系列文章内容之一。今天，将前仿真中的timescale 和 后仿真中 timescale+sdf 延迟数据，进行贯通讲解。不要忽视这部分内容，因为后仿真的成功准确与否，时间精度问题，很重要。为什么？接下来一一讲解。

那么菜的博客 2311

基于多模态数据的情感分析

目录前言1 介绍2 原理3 总结 前言 信息的来源与形态具有多样性，每种形态的数据都称为一种模态。就像人可以通过听觉、视觉、触觉来感知语音、图像、文本等多模态信息。深度学习针对这几种模态的信息产生了几个分支：自然语言处理、计算机视觉、语音识别等，采用不同特点的模型处理不同模态的信息。 多模态机器学习旨在让机器能够处理和理解多模态信息的能力，也就是同时利用文本、图像、语音等信息以及它们之间的交互，而不是只利用一种信息去做下游任务。只要能够转换成数字形式并且保留语义信息的数据，都能被机器加以利用。 1 介绍 本

予以初始的博客 8148

【Matlab光伏功率预测】基于GRU门控循环单元的光伏功率时间序列预测（附MATLAB代码）

【Matlab光伏功率预测】基于GRU门控循环单元的光伏功率时间序列预测（附MATLAB代码）

k8291121的博客 1100

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

MulT论文

对MulT论文模型的笔记，针对多模态语言序列分析中的两大挑战：模态不对齐和跨模态长期依赖问题。通过引入方向性跨模态注意力机制，MulT无需显式对齐即可实现端到端建模。实验表明，MulT在CMU-MOSI、CMU-MOSEI和IEMOCAP数据集上均优于现有方法，并能有效捕捉非同步模态间的语义关联。该模型为处理异步多模态数据提供了新范式，突破了传统方法依赖人工对齐的局限。

2503_91974535的博客 1055

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用
上一篇： （2023ArXiv）Exchanging-based Multimodal Fusion with Transformer
下一篇： （2021 ICMI）Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis
点赞 3
评论 1
书签 书签 4
一颗2021
一颗2021
博客等级 码龄6年 48粉丝 30原创
+ 关注
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值