关于SELF-MM模型复现出现的问题解决步骤

原创 已于 2025-08-15 21:56:06 修改 · 888 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

于 2023-11-16 21:46:38 首次发布
本文介绍了如何根据给定地址链接下载预训练BERT模型和数据集，包括替换模型文件、设置数据路径、处理CUDA错误以及对model文件中特定行的修改。还提到在根目录下创建logs文件并解决可能出现的问题。
部署运行你感兴趣的模型镜像

首先是根据给出的地址链接建立数据集和预训练bert文件。

1.

对于预训练bert直接下载好替换掉原仓库中的文件，区别在于多了一个model文件；
对于数据集，如果不想全修改，按照默认格式MOSI/Processed/unaligned_50.pkl新建文件夹，以上述格式分别将文件放进去，SIMS，MOSEI数据集同理。下载好之后在config文件里修改对应的path路径为你自己电脑的路径。

2.

根目录新建一个logs文件。

3.

CUDA报错，将run.py 55 行 进行以下修改，注释掉的是源代码。
#device = torch.device(‘cuda:%d’ % int(args.gpu_ids[0]) if using_cuda else ‘cpu’)
device = torch.device(‘cuda:0’ if torch.cuda.device_count() > 0 else ‘cpu’)

4.

model文件中的self-mm.py的132行添加lengths = lengths.cpu()即可。

5.

其他问题请提问…

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

MSA+抑郁症模型总结（一）（论文复现）
wei_shuo的博客
07-31 1508
MSA+抑郁症模型总结（一）（论文复现）
关于VAE-LSTM代码复现遇到的问题：复现他人代码，但是显示模型一直不能保存，路径应该怎么设置才正确？
**My Coding Family**
06-19 1073
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
探索自我监督多任务学习：SELF-MM 模型
gitblog_00072的博客
06-06 774
探索自我监督多任务学习：SELF-MM 模型 SELF-MM 是一个基于PyTorch实现的开源项目，用于复现实验代码，即在多模态情感分析中通过自我监督多任务学习学习模态特定表示(AAAI2021)研究中的方法。该项目旨在为多模态情感分析提供强大的工具，其中也包括了对预训练BERT模型的集成。 项目介绍 SELF-MM模型的核心是其创新的架构设计，如图所示： [model](assets/Mai...
论文 Self-MM 解读
Neo的战斗部
04-13 2666
Learning Modality-Specific Representations with Self-SupervisedMulti-Task Learning for Multimodal Sentiment Analysis 摘要 1.设计了一种标签生成模块，获得独立的单模态标签 2.设计权重调整策略，平衡不同子任务之间的学习进程 特征学习中 前向引导 ：捕捉不同模态之间的差异信息 后向引导：附加损失函数作为先验约束，使得模态表征既包含一致信息又包含互补信息 paper的贡献： 1.
【亲测免费】 Self-MM 开源项目使用教程
gitblog_00119的博客
09-15 735
Self-MM 开源项目使用教程 1. 项目介绍 Self-MM 是一个基于 PyTorch 实现的开源项目，用于复现实验代码，即在多模态情感分析中通过自我监督多任务学习学习模态特定表示（AAAI2021）研究中的方法。该项目旨在为多模态情感分析提供强大的工具，其中也包括了对预训练 BERT 模型的集成。 主要功能 多模态情感分析：通过自我监督多任务学习，学习模态特定的表示。 预训练 BERT ...
Sentiment Word Aware Multimodal Refinement for MultimodalSentiment Analysis with ASR Errors
QM19900420的博客
10-23 1296
多模态情绪分析引起了越来越多的关注，并提出了许多模型。但是，当在现实世界中部署最先进的模型时，它们的性能会急剧下降。我们发现，主要原因是实际应用程序只能访问自动语音识别 (ASR) 模型的文本输出，由于模型容量的限制，这可能会出现错误。通过对ASR输出的进一步分析，我们发现在某些情况下，情感词 (文本情态中的关键情感元素) 被识别为其他词，这使得文本的情感发生变化，并直接损害了多模态情感模型的性能。为了解决这个问题，我们提出了情感词感知多模态细化模型 (SWRM)，该模型可以通过利用多模态情感线索来动态细化
Self-MM 项目使用教程
gitblog_00160的博客
09-16 509
Self-MM 项目使用教程 1. 项目目录结构及介绍 Self-MM/ ├── assets/ ├── config/ ├── data/ ├── models/ ├── pretrained_model/ ├── train/ ├── utils/ ├── LICENSE ├── README.md ├── requirements.txt └── run.py 目录结构介绍 assets...
文献综述：nnU-Net模型复现的逐渐实现
2403_88150975的博客
05-11 1161
Unet这个模型，主要由两个部分组成，分别是收缩路径和扩展路径两个部分组成，并由这篇论文中提出的新结构跳跃连接（Skip Connections）使得每一层的卷积部分都会与反卷积部分对应层的输出连接起来，形成一种U型结构。这种结构就是论文中所说的“全卷积网络”。收缩路径主要是基础的CNN层，作用是缩小图片的空间尺寸大小，并不断提取图片中的特征信息。扩展路径主要是上采样模块（反卷积模块），作用是逐渐恢复图片的空间尺寸大小，并借助跳跃连接从收缩路径中捕捉遗落的一些图片中的细节特征。
人工智能基于Self-RAG的检索增强生成模型实战：代码级实现与多场景应用性能优化
09-27
内容概要：本文深入探讨了从传统RAG到Self-RAG的演进路径，重点剖析了传统RAG在检索效率、生成准确性与检索必要性判断方面的三大瓶颈，并提出Self-RAG通过引入“检索决策”“生成”“自我反思”三合一机制加以解决。...
GPT-1模型详解及代码复现
hasakie的博客
01-09 1596
MMSA:CH-SIMS
08-04
MMSA 多模态情感分析中代码的 Pytorch 实现。 注意：我们强烈建议您首先浏览我们代码的整体结构。 如果您有任何疑问，请随时与我们联系。 支持模型 在这个框架中，我们支持以下方法： 类型 型号名称 从 单任务 单任务 —— 单任务 单任务 单任务 单任务 单任务 （无 CTC） 单任务 米萨 米萨 多任务 MLF_DNN MMSA 多任务 MTFN MMSA 多任务 MLMF MMSA 多任务 自我_MM 自我MM 结果 详细结果见results/result-stat.md 用法 克隆代码 克隆这个 repo 并安装需求。 git clone https://github.com/thuiar/MMSA cd MMSA pip install -r requirements.txt 数据集和预训练的 berts 从以下链接下载数据集特征和
pkl格式mosi数据集以及mosi数据集对应的论文
10-07
pkl格式mosi数据集以及mosi数据集对应的论文
论文翻译 | SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHTREASONING IN LANGUAGE MODELS 自洽性提高了语言模型的思维链推理能力(上）
m0_49651195的博客
09-26 1378
特别是，当与PaLM-540B或GPT-3一起使用时，自一致性在算术推理任务中实现了新的最先进的性能水平，包括GSM8K (Cobbe等人，2021)(+17.9%的绝对精度增益)，SVAMP (Patel等人，2021)(+11.0%)，AQuA (Ling等人，2017)(+12.2%)，以及常识推理任务，如StrategyQA (Geva等人，2021)(+6.4%)和ARCchallenge (Clark等人，2018)(+3.9%)。更详细地说，假设生成的答案ai来自一个固定的答案集，
【亲测免费】 MOSI数据集资源
gitblog_06795的博客
04-20 982
MOSI数据集资源 【下载地址】MOSI数据集资源 MOSI数据集资源为多模态情感分析研究提供了丰富的支持，包含文本、语音和视觉三种模态的数据，并以pkl格式提供预处理版本，方便直接使用。该数据集广泛应用于自然语言处理、语音识别和计算机视觉领域，特别适合情感计算和多模态学习任务。通过本资源，您可以轻松获取数据集及其相关论...
多模态情感分析
qq_45776355的博客
06-08 304
多模态情感分析数据集
(2021 AAAI) Self_MM
qq_42882082的博客
03-12 1484
表征学习是多模态学习中一项重要而富有挑战性的任务。有效的模态表示应该包含两部分特征：一致性和差异性。
003 卷积神经网络（CNN）-- 原理到实践
yy_xzz的博客
12-25 824
卷积操作：局部连接，权重共享池化操作：降维，增加平移不变性经典架构现代技巧：批归一化，Dropout，残差连接实践应用：图像分类，特征可视化# 尝试设计一个用于MNIST的CNN# 你的设计pass# 前向传播pass。
Day44 简单 CNN 实战
最新发布
W020419的博客
12-26 326
将卷积输出展平成向量，接 1~2 层全连接 + Dropout，输出 10 维 logits。：BatchNorm 稳定分布、Dropout 降低 co-adaptation。这些中间输出就是“特征图”，可借助 Grad-CAM 等方法做可视化解释。第 3 个卷积块：池化后得到 128×4×4，展平即 2048 维向量。第 1 个卷积块：保持尺寸，池化后得到 32×16×16；第 2 个卷积块：池化后得到 64×8×8；提取多尺度特征并逐步减小空间维度。
Day46
m0_70488789的博客
12-26 260
作业：手动构造类似的数据集（如cosx数据），观察不同的机器学习模型的差异。4. 经典机器学习在序列任务上的劣势；# DAY 46 序列预测任务介绍。b. 多步预测的2种方式。2. 序列数据的处理：滑动窗口。3. 多输入多输出任务的思路。
NOISY-ARCMIX 复现，出现的问题
07-04
NOISY-ARCMIX 是一种用于语音增强和分离任务的深度学习模型，结合了噪声感知机制与混合激活函数的设计理念。在复现该模型的过程中，可能会遇到多种问题，包括数据预处理、模型结构实现、损失函数定义、训练过程中的收敛性问题等。 ### 数据预处理相关问题 在实现 NOISY-ARCMIX 模型时，首先需要确保输入音频信号的预处理方式符合论文或参考代码的要求。通常情况下，语音增强任务的数据预处理包括分帧（framing）、加窗（windowing）、短时傅里叶变换（STFT）以及幅度谱提取等步骤。若这些步骤未正确实现，可能导致特征表示不准确，从而影响模型性能[^1]。 ### 模型结构实现难点 NOISY-ARCMIX 的核心在于其引入了噪声感知模块（Noise-Aware Module, NAM），以及结合了 ReLU 和 Sigmoid 激活函数的混合激活机制。在构建网络结构时，需特别注意以下几点： - **噪声感知模块**：该模块旨在估计输入信号中的噪声水平，并据此调整模型参数。实现时应确保噪声估计部分能够有效融合到主干网络中。 - **混合激活函数**：通常形式为 $ f(x) = \alpha \cdot \text{ReLU}(x) + (1 - \alpha) \cdot \text{Sigmoid}(x) $，其中 $\alpha$ 为可学习参数或固定超参数。需验证激活函数是否能正确传递梯度并参与反向传播。 ```python import torch.nn as nn class HybridActivation(nn.Module): def __init__(self, alpha=0.5): super(HybridActivation, self).__init__() self.alpha = alpha def forward(self, x): return self.alpha * nn.functional.relu(x) + (1 - self.alpha) * torch.sigmoid(x) ``` ### 训练过程中的调试建议 训练过程中可能出现的主要问题包括： - **损失函数不稳定**：检查是否采用了适当的损失函数组合，例如均方误差（MSE）与感知损失（Perceptual Loss）的加权和。 - **梯度爆炸/消失**：使用梯度裁剪（Gradient Clipping）技术来防止优化器更新过程中出现梯度爆炸问题。 - **学习率设置不当**：采用学习率衰减策略（如余弦退火、StepLR）有助于模型更好地收敛。 - **硬件资源不足**：尝试降低批量大小（batch size）以适应当前设备内存限制，或者启用混合精度训练加速计算过程。 ### 总结与扩展思考 成功复现 NOISY-ARCMIX 模型不仅依赖于对论文细节的理解，还需要具备良好的工程实践能力。此外，在调试过程中保持日志记录习惯、可视化中间结果（如频谱图重构效果）、利用验证集监控模型表现也是提高开发效率的重要手段。
评论 19
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值