RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 1.

博主在调整模型后进行微调训练时遇到RuntimeError,源于在处理list类型的中间变量hs时shape不匹配。通过打印发现hs类型为list且shape为(5,),但后续操作导致了问题。
部署运行你感兴趣的模型镜像

最近在修改模型不支持的算子后,由于对模型的效果产生了影响,所以需要进行微调训练,但是训练的时候报错了,如下:

File "/home/xxxxxxx/EdgeNets/nn_layers/efficient_pyramid_pool.py", line 300, in forward
    out = torch.cat(hs, dim=1)
RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 1. Got 28 and 14 in dimension 2 at /pytorch/aten/src/THC/generic/THCTensorMath.cu:71

开始以为是修改的代码有问题,后来排查完之后是在中间测试的时候加了打印语句。如下:

print("hs.shape:", np.array(hs).shape)

由于hs的类型是list,我想查看他的shape,所以通过np.array的shape进行了查看。定位到是这句的原因后,在这句之前之后对hs的type进行了打印,输出如下:

hs.type: <class 'list'>
hs.shape: (5,)
hs.type: <class 'list'>

感觉没有改变类型,不知道为啥会影响,先记录一下。

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值