关于多模态情感识别MULT模型复现遇到的问题

原创 已于 2024-04-08 19:19:02 修改 · 608 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

于 2023-09-14 13:15:16 首次发布
本文介绍了如何在main.py中使用GPU随机数生成器，对position_embedding.py中的view函数进行reshape操作，以及如何在Colab环境下设置自定义数据路径，包括创建文件夹、下载和解压缩数据文件。
部署运行你感兴趣的模型镜像

1.需要再main.py里的在DataLoader()中添加一个参数generator=torch.Generator(device=‘cuda’)，这样就可以在GPU上创建一个随机数生成器，而不是默认的CPU上的生成器。

2.需要将position_embedding.py的view（）函数换成reshape（），这是在colab的情况下。

3.data是需要自己创建文件夹，下载并解压，然后在main.py的–dataset参数中修改默认路径。

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

CENet及多模态情感计算实战（论文复现）
wei_shuo的博客
09-09 1417
CENet及多模态情感计算实战（论文复现）
MSA+抑郁症模型总结（三）（论文复现）
wei_shuo的博客
07-31 1579
MSA+抑郁症模型总结（三）（论文复现）
2019_ACL_Multimodal Transformer for Unaligned Multimodal Language Sequences
tcn760的博客
04-07 4274
Multimodal Transformer for Unaligned Multimodal Language Sequences 论文地址：https://arxiv.org/abs/1906.00295 对多模态人类语言序列数据进行建模的主要挑战： 1.每种模态的序列的采样方法不同，因此不同数据是未对齐的（就是一段文字，采样后与之相匹配的视频片段或音频片段与之并未对其） 2.跨模态的元素之间的长期依赖关系（哭泣可能与之前所说过的话有关系） 本文提出MulT来解决上述问题。 通过电影评论的实例视频剪
【传知代码】CENet及多模态情感计算实战（论文复现）
ztK63LrD的博客
08-11 1523
情感分析在人工智能向情感智能发展中起着重要作用。早期的情感分析研究主要集中在分析单模态数据上，包括文本情感分析、图像情感分析、音频情感分析等。然而，人类的情感是通过人体的多种感官来传达的。因此，单模态情感分析忽略了人类情感的多维性。相比之下，多模态情感分析通过结合文本、视觉和音频等多模态数据来推断一个人的情感状态。与单模态情感分析相比，多模态数据包含多样化的情感信息，具有更高的预测精度。目前，多模态情感分析已被广泛应用于视频理解、人机交互、政治活动等领域。
ViLT-多模态论文复现
盼你开心
03-29 3738
多模态经典论文，VILT论文复现。
23、多模态情感分析：基于自监督多任务学习的模型探索
最新发布
rgv234567的博客
09-12 55
本文介绍了一种基于自监督多任务学习的多模态情感分析模型 Self-MM，旨在解决多模态表征学习中捕捉模态间一致性和差异性的挑战。通过引入自监督标签生成模块（ULGM）和动量更新策略，模型在多个公开数据集（如 MOSI、MOSEI 和 SIMS）上实现了优于现有方法的性能表现。Self-MM 通过联合训练多模态任务和单模态任务，有效提升了情感分析的准确性和稳定性，为社交媒体数据分析等应用场景提供了新的解决方案。
基于Python的多模态情感分析模型实现与应用
在本项目中，使用Jupyter不仅便于组织整个多模态情感分析的工作流——包括数据加载、清洗、特征工程、模型训练与结果分析等步骤，还使得项目文档能够以动态可执行的形式呈现，极大增强了项目的可读性和复现性。...
通过偏差净化实现多模态情感分析去偏差
weixin_45962681的博客
07-16 760
理论创新
多模态情感分析：基于自监督多任务学习的模型
### 多模态情感分析：基于自监督多任务学习的模型 #### 1. 引言 近年来，多模态情感分析（MSA）在社交媒体数据分析中愈发重要。相较于单模态情感分析，MSA在处理社交媒体数据时表现更优，已广泛应用于风险管理、...
请提供给我MULT情绪识别模型的开源代码链接
08-01
在GitHub上可以找到多个与MulT模型结构相似的开源项目，这些项目通常采用Transformer架构进行多模态融合，并应用于情绪识别、情感分析等任务。以下是一些可能包含MulT风格实现的开源代码链接和简要说明： ### 1. `...
MSA+抑郁症模型总结（二）（论文复现）
wei_shuo的博客
07-31 1284
MSA+抑郁症模型总结（二）（论文复现）
基于多模态数据的情感分析
予以初始的博客
10-23 8021
目录前言1 介绍2 原理3 总结 前言 信息的来源与形态具有多样性，每种形态的数据都称为一种模态。就像人可以通过听觉、视觉、触觉来感知语音、图像、文本等多模态信息。深度学习针对这几种模态的信息产生了几个分支：自然语言处理、计算机视觉、语音识别等，采用不同特点的模型处理不同模态的信息。 多模态机器学习旨在让机器能够处理和理解多模态信息的能力，也就是同时利用文本、图像、语音等信息以及它们之间的交互，而不是只利用一种信息去做下游任务。只要能够转换成数字形式并且保留语义信息的数据，都能被机器加以利用。 1 介绍 本
多模态COGMEN详解（论文复现）
wei_shuo的博客
09-26 1052
多模态COGMEN详解（论文复现）
多模态综述
学无止境
07-08 947
Bert 预训练、TextVQA、LayoutLM
[论文复现(附GitHub代码)]多模态知识扩展-ICCV2021
qq_49925517的博客
03-27 1016
在GitHub中我提供了我使用的数据集的下载链接，由于RAVDESS包含视频数据导致文件较大我无法上传到网盘，大家可以自行下载数据集，这里我只使用了speech数据。我划分的训练集和测试集文件会在GitHub中提供。
TETFN情感计算的实践复现（论文复现）
wei_shuo的博客
09-07 1267
TETFN情感计算的实践复现（论文复现）
多模态论文总结（二）
C_andylist的博客
01-29 551
Gated Mechanism for Attention Based Multi Modal Sentiment Analysis 阅读笔记_阿里武的技术博客-优快云博客 上述博客已经对该文章做出了详细介绍，个人补充如下： 该论文多次运用了门控结构，模型非常简单，写作值得学习。 核心部分在于Cross Attention和Gating Mechanism for Cross Interaction，其余部分与NLP的相关处理相似。 ...
（2023）基于多模态概率融合提示的少样本多模态情感分析
大肉包的博客
04-11 2030
为了减少不同模式提示的差异，设计了由图像描述提示和文本提示组成的统一的多模式提示。为了提高模型的鲁棒性，利用每个输入的多个不同提示，并提出了一种概率方法来融合输出预测。且不同的提示包含不同数量的信息，单一提示所传达的信息是不够的。2. 设计了统一的多模态提示来减少不同模态提示的差异，并设计了概率融合方法来聚合多个多模态提示的预测，以提高模型的鲁棒性。对于图像模态，首先生成每个图像的文本描述，并将其编码为文本提示，以提高图像和文本提示的兼容性。提出了一种新的概率融合方法来融合来自多模态提示的多个预测。
论文复现CVPR2022：End-to-End Referring Video Object Segmentation with Multimodal Transformers端到端多模态视频对象分割
qq_52174546的博客
10-17 1587
基于autodl从零实现CVPR2022：End-to-End Referring Video Object Segmentation with Multimodal Transformers
Python多模态情感识别与大模型微调实操指南
资源摘要信息:"基于Python实现的多模态情感识别系统，结合了语音和文本数据，通过大型预训练模型的微调（finetune）来提高准确性。该系统利用IEMOCAP数据集和Hugging Face上提供的预训练模型BERT和wav2vec2进行训练...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值