关于SELF-MM模型复现出现的问题解决步骤

原创已于 2025-08-15 21:56:06 修改 · 888 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #机器学习

于 2023-11-16 21:46:38 首次发布

本文介绍了如何根据给定地址链接下载预训练BERT模型和数据集，包括替换模型文件、设置数据路径、处理CUDA错误以及对model文件中特定行的修改。还提到在根目录下创建logs文件并解决可能出现的问题。

部署运行你感兴趣的模型镜像

首先是根据给出的地址链接建立数据集和预训练bert文件。

1.

对于预训练bert直接下载好替换掉原仓库中的文件，区别在于多了一个model文件；
对于数据集，如果不想全修改，按照默认格式MOSI/Processed/unaligned_50.pkl新建文件夹，以上述格式分别将文件放进去，SIMS，MOSEI数据集同理。下载好之后在config文件里修改对应的path路径为你自己电脑的路径。

2.

根目录新建一个logs文件。

3.

CUDA报错，将run.py 55 行进行以下修改，注释掉的是源代码。
#device = torch.device(‘cuda:%d’ % int(args.gpu_ids[0]) if using_cuda else ‘cpu’)
device = torch.device(‘cuda:0’ if torch.cuda.device_count() > 0 else ‘cpu’)

4.

model文件中的self-mm.py的132行添加lengths = lengths.cpu()即可。

5.

其他问题请提问…

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

20 条评论

2301_80013522 2025.11.16
请问这个报错是为什么，有可能是PyTorch与CUDA版本不匹配吗？我完全按照requirement来配置的facenet-pytorch 0.4.0 pytorch-transformers 1.0.0 torch 1.2.0 torchvision 0.2.1 服务器的 CUDA是 1.13，以下是报错内容： attention_scores = torch.matmul(query_layer, key_layer.transpose(-1, -2)) RuntimeError: cublas runtime error : the GPU program failed to execute at /pytorch/aten/src/THC/THCBlas.cu:331

2301_80013522 2025.11.16
hidden_states, attention_mask, head_mask, encoder_hidden_states, encoder_attention_mask File "/openbayes/home/self_mm/lib/python3.7/site-packages/torch/nn/modules/module.py", line 547, in __call__ result = self.forward(*input, **kwargs) File "/openbayes/home/self_mm/lib/python3.7/site-packages/transformers/modeling_bert.py", line 234, in forward attention_scores = torch.matmul(query_layer, key_layer.transpose(-1, -2)) RuntimeError: cublas runtime error : the GPU program failed to execute at /pytorch/aten/src/THC/THCBlas.cu:331

ww_yubo 2024.10.30
Traceback (most recent call last): File "run.py", line 243, in <module> run_normal(args) File "run.py", line 167, in run_normal test_results = run(args) File "run.py", line 54, in run dataloader = MMDataLoader(args) File "/home/ai2021/jupyter/wuyubo/Self-MM-main/data/load_data.py", line 131, in MMDataLoader 'train': MMDataset(args, mode='train'), File "/home/ai2021/jupyter/wuyubo/Self-MM-main/data/load_data.py", line 23, in __init__ DATA_MAP[args.datasetName]() File "/home/ai2021/jupyter/wuyubo/Self-MM-main/data/load_data.py", line 55, in __init_mosei return self.__init_mosi() File "/home/ai2021/jupyter/wuyubo/Self-MM-main/data/load_data.py", line 29, in __init_mosi self.text = data[self.mode]['text_bert'].astype(np.float32) KeyError: 'text_bert' 这个KeyError是啥问题

m0_45262446 2024.08.14
RuntimeError: input.size(-1) must be equal to input_size. Expected 74, got 5，请问这个问题怎么解决？？
- 一颗2021回复m0_45262446 2024.08.14
  纬度错了

nianerya 2024.07.20
请问为什么我运行python run.py --modelName self_mm --datasetName mosi这个指令。无论我选哪个数据集，是都要训练一遍sims数据集吗
- ww_yubo回复一颗2021 2024.10.30
  作者您好，我也遇到了这个问题，请问可以请教一下吗
- 一颗2021回复nianerya 2024.07.22
  可以不是

_Ether_ 2024.04.10
有提供基于self mm的改进吗，有偿
- 一颗2021回复_Ether_ 2024.04.12
  可以私

我想要一条龙 2024.03.30
RuntimeError: Invalid device string: 'cuda: 0'这个问题可以帮忙看下吗
- 我想要一条龙回复一颗2021 2024.04.02
  好的，谢谢
- 一颗2021回复我想要一条龙 2024.04.01
  gpu选错了

一颗2021 2024.03.29
解决了的回来评论一下

m0_53245597 2024.01.26
Model name 'F:\MLP\2023_Summer\Git\Self-MM\pretrained_model\bert-base-uncased' not found in model shortcut name list (bert-base-uncased, bert-large-uncased, bert-base-cased, bert-large-cased, bert-base-multilingual-uncased, bert-base-multilingual-cased, bert-base-chinese, bert-base-german-cased, bert-large-uncased-whole-word-masking, bert-large-cased-whole-word-masking, bert-large-uncased-whole-word-masking-finetuned-squad, bert-large-cased-whole-word-masking-finetuned-squad, bert-base-cased-finetuned-mrpc, bert-base-german-dbmdz-cased, bert-base-german-dbmdz-uncased, bert-base-finnish-cased-v1, bert-base-finnish-uncased-v1, bert-base-dutch-cased). Assuming 'F:\MLP\2023_Summer\Git\Self-MM\pretrained_model\bert-base-uncased' is a path, a model identifier, or url to a directory containing tokenizer files. Didn't find file F:\MLP\2023_Summer\Git\Self-MM\pretrained_model\bert-base-uncased\added_tokens.json. We won't load it. 这个问题可以看一下吗
- soyorin33回复一颗2021 2025.03.03
  同样的问题
- 一颗2021回复m0_53245597 2024.01.26
  预训练bert没整好吧

Shaw614 2024.01.21
我遇到的问题是kernel died Kernel Restarting The kernel for Untitled.ipynb appears to have died. It will restart automatically.
- 一颗2021回复Shaw614 2024.01.26
  重新启动jupyter吧核出问题