MMSA多模态情感识别仓库复现遇到的问题

原创 已于 2023-04-28 11:30:42 修改 · 1.2k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #经验分享 #论文阅读

于 2023-04-28 11:30:17 首次发布
文章讲述了在运行run.py时遇到的因版本差异导致的错误，以及如何解决该问题。用户需下载.pkl数据文件并创建特定文件夹。此外，API接口调用需配置model-save和result-save路径。内容聚焦于ch-sims数据集的复现实验，但提到三个多模态任务模型存在局部变量提前调用的错误，尚未找到解决方案。
部署运行你感兴趣的模型镜像

1.run.py函数运行报错，可能版本原因将原来285行的 dict｜str 改为str
2.需要自己下载数据创建一个文件夹，只需要下载各个数据集的.pkl文件即可
3.API接口调用，使用代码的时候自己创建一个model-save和rusult-save文件，config对应参数改一下路径，跑完可得到结果
4.本次仅使用了ch-sims数据集，由该论文来这复现
5.三个多模态任务模型会报错，原因：局部变量在声明前调用，还不知道怎么改

您可能感兴趣的与本文相关的镜像

Qwen3-VL-8B

Qwen3-VL-8B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

CENet及多模态情感计算实战（论文复现）
wei_shuo的博客
09-09 1417
CENet及多模态情感计算实战（论文复现）
MSA+抑郁症模型总结（三）（论文复现）
wei_shuo的博客
07-31 1579
MSA+抑郁症模型总结（三）（论文复现）
【NLP】文献翻译4——CH-SIMS：中文多模态情感分析数据集与细粒度的模态注释
热门推荐
YoungSeng's Blog
04-17 1万+
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality摘要1. 介绍2. 相关工作2.1 多模态数据集2.2 多模态情感分析2.3 多任务学习3. CH-SIMS 数据集3.1 数据获取3.2 标注3.3 特征提取4. 多模式多任务学习框架4.1 单模态子网4.2 特征融合网络4.3 优化目标5. 实验5.1 基准5.2 实验的细节5.3 结果和讨论5.3.1 与
清华论文CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modali
Neo的战斗部
03-08 4136
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality 创新点 1. 提出了一种数据集，可以同时去做单模态分类，多模态分类以及多任务分类。 2. 提出了一种多模态多任务的后端融合的框架，在这个框架下进行多模态训练会使得测试结果更高。 论文细节 单模态和多模态的标签是分开的 对每一段语音，文本，视频都叫五个人去打标签，每个人打的标签只有三种， 1是积极的，0中性的，-
【亲测免费】 探索多模态情感分析的统一框架：MMSA
最新发布
gitblog_00518的博客
11-15 1029
在人工智能的众多分支中，多模态情感分析（Multimodal Sentiment Analysis, MSA）因其对复杂人类情感的深刻理解和应用潜力而备受瞩目。今天，我们将深入介绍一个在这一领域中表现卓越的开源项目——MMSA（Multimodal Sentiment Analysis）。 ## 项目介绍 MMSA是一个专为多模态情感分析设计的统一框架，它集成了训练、测试和比较多种MSA模型的
CMU-MOSEI数据集
03-03
CMU-MOSEI数据集
精选资源
多模态情感分析-各种针对多模态表示学习、多模态融合以及多模态情感分析等下游任务模型（含数据集、多模态特征提取融合、实验评估）.zip
12-03
多模态情感分析-各种针对多模态表示学习、多模态融合以及多模态情感分析等下游任务模型（含数据集、多模态特征提取融合、实验评估）.zip [资源介绍] 各种针对多模态表示学习、多模态融合以及多模态情感分析等下游...
【MAMSA】基于多注意力的多模态情感分析
weixin_45962681的博客
01-20 3353
特征编码模块、自适应注意交互模块（AAI）、情感关联表示模块（SA）、层次融合模块（HF）和情感预测模块
6、多模态情感分析数据集：从CH - SIMS到CH - SIMS v2.0的进展
rgv234567的博客
08-26 142
本文介绍了多模态情感分析数据集CH-SIMS及其扩展版本CH-SIMS v2.0的发展与改进。CH-SIMS v2.0通过引入高质量的单模态注释和多样化的多模态数据，显著提升了多模态情感分析任务的性能。文章还提出了AV-MC框架，利用声学与视觉模态的混合一致性来增强模型的鲁棒性。实验结果显示，基于单模态注释的多任务学习方法在多模态情感分析中表现优异，尤其是在细粒度情感强度预测方面。未来的研究方向包括融合策略优化、数据集扩展以及跨语言多模态情感分析等。
26、多模态情感分析平台：M - SENA与Robust - MSA的综合解析
rgv234567的博客
09-15 88
本文详细解析了两个多模态情感分析平台——M-SENA和Robust-MSA的功能与特点。M-SENA提供端到端的解决方案，涵盖数据管理、特征提取、模型训练与分析，为研究人员提供全面的模型开发与评估支持；而Robust-MSA专注于模态噪声模拟与防御，提升模型在现实复杂环境中的鲁棒性。两者结合可广泛应用于社交媒体分析、客户服务、智能教育等多个领域，推动多模态情感分析技术的发展。
多模态情感分析框架MMSA的Pytorch实现与多任务学习
- 多任务多模态情感分析(MMSA) - 多任务多任务融合网络(MTFN) - 多任务多语言多模态融合(MLMF) - 自我多模态融合(Self_MM) 详细的结果可以在GitHub仓库中查看，该仓库还包含了如何运行代码的指南以及对数据集和预...
MMSA:CH-SIMS
08-04
MMSA 多模态情感分析中代码的 Pytorch 实现。 注意：我们强烈建议您首先浏览我们代码的整体结构。 如果您有任何疑问，请随时与我们联系。 支持模型 在这个框架中，我们支持以下方法： 类型 型号名称 从 单任务 单任务 —— 单任务 单任务 单任务 单任务 单任务 （无 CTC） 单任务 米萨 米萨 多任务 MLF_DNN MMSA 多任务 MTFN MMSA 多任务 MLMF MMSA 多任务 自我_MM 自我MM 结果 详细结果见results/result-stat.md 用法 克隆代码 克隆这个 repo 并安装需求。 git clone https://github.com/thuiar/MMSA cd MMSA pip install -r requirements.txt 数据集和预训练的 berts 从以下链接下载数据集特征和
MSA+抑郁症模型总结（二）（论文复现）
wei_shuo的博客
07-31 1284
MSA+抑郁症模型总结（二）（论文复现）
预训练模型与自己模型参数不匹配
qq_41389330的博客
09-17 4429
导入预训练模型在通常情况下都能加快模型收敛，提升模型性能。但根据实际任务需求，自己搭建的模型往往和通用的Backbone并不能做到网络层的完全一致，无非就是少一些层和多一些层两种情况。 1. 自己模型层数较少 net = ... # net为自己的模型 save_model = torch.load('path_of_pretrained_model') # 获取预训练模型字典（键值对） model_dict = net.state_dict() # 获取自己模型字典（键值对） # 新定义字典
基于多模态数据的情感分析
予以初始的博客
10-23 8022
目录前言1 介绍2 原理3 总结 前言 信息的来源与形态具有多样性，每种形态的数据都称为一种模态。就像人可以通过听觉、视觉、触觉来感知语音、图像、文本等多模态信息。深度学习针对这几种模态的信息产生了几个分支：自然语言处理、计算机视觉、语音识别等，采用不同特点的模型处理不同模态的信息。 多模态机器学习旨在让机器能够处理和理解多模态信息的能力，也就是同时利用文本、图像、语音等信息以及它们之间的交互，而不是只利用一种信息去做下游任务。只要能够转换成数字形式并且保留语义信息的数据，都能被机器加以利用。 1 介绍 本
ViLT-多模态论文复现
盼你开心
03-29 3738
多模态经典论文，VILT论文复现。
关于多模态情感识别MULT模型复现遇到的问题
qq_52679708的博客
09-14 608
mult模型，跨模态注意力
多模态语义分析_多模态情感分析数据集（Multimodal Dataset）整理
weixin_29212867的博客
12-28 2647
这里整理一下平时所用的多模态情感数据集以备之用，后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。最近发现有一个网站的数据集很全，包含了各种任务各种语言不同规模的数据集#The Big Bad NLP Database#，大家如果有更多的需要可以在上面找以下，链接是The Big Bad NLP Database一、双模态（一般是文本、图像和语音的两两组合）1.《Multi-Modal Sa...
（2023）基于多模态概率融合提示的少样本多模态情感分析
大肉包的博客
04-11 2031
为了减少不同模式提示的差异，设计了由图像描述提示和文本提示组成的统一的多模式提示。为了提高模型的鲁棒性，利用每个输入的多个不同提示，并提出了一种概率方法来融合输出预测。且不同的提示包含不同数量的信息，单一提示所传达的信息是不够的。2. 设计了统一的多模态提示来减少不同模态提示的差异，并设计了概率融合方法来聚合多个多模态提示的预测，以提高模型的鲁棒性。对于图像模态，首先生成每个图像的文本描述，并将其编码为文本提示，以提高图像和文本提示的兼容性。提出了一种新的概率融合方法来融合来自多模态提示的多个预测。
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值