CodeQwen1.5-7B-Chat 报错

已于 2024-09-16 23:23:05 修改
阅读量752 收藏
点赞数 3
文章标签： python 深度学习 人工智能
于 2024-09-16 23:12:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73439298/article/details/142308735
版权

ValueError: Trying to set a tensor of shape torch.Size([4096, 11008]) in "weight" (which has shape torch.Size([4096, 13440])), this look incorrect.

有没有人解释一下这是什么错误啊？

把 config 里面的"intermediate_size"改成11008，就会报错如下

ValueError: Trying to set a tensor of shape torch.Size([4096, 13440]) in "weight" (which has shape torch.Size([4096, 11008])), this look incorrect.

无语啦

Manya0918
关注
开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-02 1万+
使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型
开源模型应用落地-模型量化-Qwen1.5-7B-Chat-AWQ（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-17 1万+
理解AWQ模型量化技术，以低成本体验大语言模型的魅力
ValueError: Cannot feed value of shape (197, 235, 4) for Tensor 'Placeholder:0', which has shape '(?
huachuchengzhang的博客
03-13 1741
报错信息如下： 2019-03-13 09:23:04.658024: I c:\users\user\source\repos\tensorflow\tensorflow\core\common_runtime\gpu\gpu_device.cc:1084] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GP...
pytorch中Tensor各种操作
zycxnanwang的博客
08-21 2277
import torch pytorch中Tensor初始化 #返回全零Tensor a = torch.zeros(2,3); print(a) #返回shape和参数一样的全1Tensor, zeros_like类似 b = torch.ones_like(a); print(b) #torch.arange(start=0, end, step=1) c = torch.arange...
ValueError: Cannot feed value of shape (1024, 1024) for Tensor ‘agent_0/target:0‘, which has shape ‘
qq_42532883的博客
09-19 314
在编写奖励函数时出现问题，使用智能体ID重新编写，问题解决。
使用Faster-Rcnn进行目标检测(实践篇)
热门推荐
GavinZhou的博客
07-28 8万+
原理上一篇文章，已经说过了，大家可以参考一下，Faster-Rcnn进行目标检测(原理篇)实验我使用的代码是python版本的Faster Rcnn，官方也有Matlab版本的,链接如下:py-faster-rcnn(python)faster-rcnn(matlab)环境配置按照官方的README进行配置就好,不过在这之前大家还是看下硬件要求吧 For training s
Error: The size of tensor a (2048) must match the size of tensor b (1000) at nonsingleton dimension2
qq_59782617的博客
05-24 493
seq_norm是a，seqc_norm是b，于是查看ab两个的大小，发现a是torch.Size([1, 4567, 2048]) b是torch.Size([1000])b出了问题，找到b的出处，b是用resnet152提取的特征向量，维度为1000是因为直接保存了全连接层的结果（resnet的输出结果就是1000个类别）这个错误信息表明在执行张量运算时，两个张量在非单一维度（这里是维度2）上的尺寸不匹配。要想匹配维度，需要修改b的保存，使b保存全连接层的前一层，就可以解决。
解析Torch中 `Embedding`
sinat_39783664的博客
07-04 1412
pytorch embedding
开源模型应用落地-模型量化-Qwen1.5-7B-Chat-GPTQ-Int8（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-17 1万+
理解GPTQ模型量化技术，以低成本体验大语言模型的魅力
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（九）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-04 2428
qwen1.5-7b-chat集成vllm，构建与OpenAI-API兼容的API服务
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-01 3056
qwen1.5-7b-chat集成vllm，流式输出
Pytorch学习笔记 （参考官方教程）
zyw2002的博客
11-26 1102
PyTorch有两个处理数据的基本体： and 其中 存储样本及其对应的标签，在数据集周围包装一个可迭代对象。 PyTorch提供了特定领域的库，如、和，所有这些库都包含数据集。在本教程中，我们将使用一个数据集。模块包含许多现实世界视觉数据的Dataset对象，如CIFAR, COCO。在本教程中，我们使用FashionMNIST数据集。每个TorchVision 包含两个参数:和，分别用于修改样本和标签。 我们将作为参数传递给。它在数据集上封装了一个可迭代对象，并支持自动批处理、采样、变换和多进程数据加载
ValueError: Cannot feed value of shape (64, 2) for Tensor 'input_y:0', which has shape '(?, 3)'
Science Evan Blog
12-16 503
ValueError: Cannot feed value of shape (64, 2) for Tensor ‘input_y:0’, which has shape ‘(?, 3)’ 解决方法参考：https://blog.csdn.net/yangfengling1023/article/details/83746239
ValueError: images is expected to be a list of 3d tensors of shape [C, H, W], torch.Size([480, 640]
czsnooker的博客
09-20 1378
原因 输入的图片张量维数不对，报错时输入张量的shape为（3，640，480），pytorch会认为有三张图片，每张图片张量的shape为（640，480），但是它要求图像格式为[C, H, W]（3，640，480），故报错 实际上我们想要表达的是一张图片，图片shape为（3，640，480） 所以把shape变成（1，3，640，480）就好了 x = x.reshape([1, x.shape[0], x.shape[1], x.shape[2]]) 加这样一句话就行，x为输入的张量。 ...
【已解决】ValueError: Cannot feed value of shape (1, 6) for Tensor h:0, which has shape (None, 7)涉及其他报错问题
瑞o
03-31 8513
解决了ValueError: Cannot feed value of shape (1, 6) for Tensor h:0, which has shape (None, 7)数据维度不一致的问题，同时把遇到的其他报错问题一并列举。问题解决方法的记录，希望有所帮助！
莫烦大神的pytorch教程，406-GAN，在torch 1.5版本上运行会报错的解决方法
孙权打的博客
07-22 6990
莫烦大神的pytorch教程，406-GAN，在torch 1.5版本上运行会报错 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of TBackward, is at version 2; expected version 1 inste
ValueError: cannot reshape array of size 60654 into shape (264,256,1,1)
是小武呀
11-18 4773
ValueError: cannot reshape array of size 60654 into shape (264,256,1,1)；tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log
【mplug_owl2.1&mplug_owl_2_1推理】多模态大模型，图生文代码示例
懒惰是科技进步的原始动力
05-16 958
Revolutionizing Multi-modal Large Language Model with Modality Collaboration
qwen1.5 -7b-chat微调训练 RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
最新发布
01-17
在处理 `RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn` 这一错误时，通常意味着某些张量被创建的方式使得它们不具有梯度计算的功能。这可能是由于数据加载、模型初始化或其他操作过程中未正确设置 `.requires_grad_()` 属性所引起的。 对于 qwen1.5-7b-chat 的微调训练中出现此问题，可以考虑以下几个方面来排查并解决问题： ### 参数配置检查 确保所有参与反向传播运算的参数都已正确设置了 requires_grad=True 。如果使用预训练权重，则需确认这些权重是否应该参与到后续更新之中[^1]。 ```python for param in model.parameters(): param.requires_grad_(True) ``` ### 数据集准备阶段 当构建输入样本时，务必保证返回的数据结构中的每一个 Tensor 对象都有合适的属性设定。特别是从磁盘读取或通过其他方式获取到原始数值之后再转换成 PyTorch 中的 Tensor 类型之前要特别注意这一点。 ```python import torch def prepare_data(batch): inputs = {k: v.to(device) for k, v in batch.items()} # Ensure all Tensors are set to track gradients if needed. for key in ['input_ids', 'attention_mask']: if isinstance(inputs[key], torch.Tensor): inputs[key].requires_grad_() return inputs ``` ### 模型前向传递过程 有时，在定义自定义层或者修改现有网络架构的过程中可能会无意间破坏掉自动求导机制的工作流程。因此建议仔细审查这部分代码逻辑，确保没有任何地方显式地关闭了某个变量的 gradient tracking 功能。 ```python class CustomLayer(nn.Module): def forward(self, x): y = some_operation(x).clone().detach() # This would stop the gradient flow # Instead use operations that preserve gradient information: z = another_operation(y) return z ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值