AutoAWQ Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:

最新推荐文章于 2025-03-10 10:35:30 发布

原创最新推荐文章于 2025-03-10 10:35:30 发布 · 352 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#autoawq

在做autoawq量化的时候遇到：
在这里插入图片描述
这里是指有部分数据在GPU上，有部分数据在CPU上，设备不统一，无法进行计算，修改脚本添加device_map参数即可

model = AutoAWQForCausalLM.from_pretrained(
    model_path, **{"low_cpu_mem_usage": True, "use_cache": False},device_map="auto"
)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

two_apples

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Expected all tensors to be on the same device, but found at least two devices 问题解决

jacke121的专栏

05-22

5637

解决方法1：报错代码： anchor_points = self.anchor_points(samples).repeat(batch_size, 1, 1) output_coord = regression + anchor_points 修改后代码： anchor_points = self.anchor_points(samples).repeat(batch_size, 1, 1) # decode the points as prediction # output_coord..

参与评论您还未登录，请先登录后发表或查看评论

RuntimeError: Expected all tensors to be on the same device, but found at least two devices

panhtt的博客

02-08

705

大模型时代，使用低端 GPU 很难单卡部署模型，因为单卡的显存有限，像 V100，只有 16G，这时候就需要使用单机多卡，甚至是多机多卡进行部署。这是因为在模型推理时，对来自于不同 GPU 上的数据进行操作。

解决报错Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu！

qq_42932667的博客

05-10

2590

查阅大量原因，发现均不符合我的问题，最基础的问题就是并未将所有tensor和model放入gpu中，导致cpu与gpu冲突，此时只需将model和所有输入均使用命令：查看model是否在GPU上，然后利用命令：查看输出是否也在同一cuda上，xxx是输入的变量名称。若冲突，则使用以下方法： 2.使用cuda（）方法：然而，当我将定义的model和data均转换为cuda上运行，仍然报错，问题未解决。突然发现，因为迁移学习我只加了fc层，bert做特征抽取，并未更新参数，此时我只将定义的model放入g

使用Lmdeploy将Qwen2-7B量化和加速推理

mycomin的博客

06-17

2464

原因是lmdeploy版本比较低，需要升级到0.4以上的版本。下载Qwen2-7B-Instruct-GPTQ-Int4。稍快一点，仍然慢于Qwen2-7B-Instruct。原因是需要增加chat方法，代码如下。使用lmdeploy测试性能。4bit之后速度提升了6倍。（设备为50%A100）Lmdeploy测试代码。量化后速度反而慢了很多。Qwen2效率评估参考。

N卡英伟达Nvidia 显卡及其计算能力（Compute Capability）表

最新发布

直达开源前线，冲冲冲！

03-10

2521

某些库或软件对显卡算力有要求，可参考下表核对。比如：AWQ量化模型不支持算力小于7.5的显卡。

Pytorch学习笔记（I）——预训练模型（八）：ResNet34网络结构

lockonlxf的博客

05-21

6813

ResNet( (conv1): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False) (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (relu): ReLU(...

大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度

05-15

8910

AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。

【已解决】RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cu

BetrayFree的博客

11-16

2万+

其实写到这里会发现上面两部分代码是一样的，无所谓，主要是证明两个得是一样的，仅此而已。

RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0

qlkaicx的博客

04-30

1万+

这个错误表明你的PyTorch代码试图在CPU和GPU（在这个例子中是CUDA设备cuda:0）之间对张量（tensors）进行操作，但是PyTorch不允许这样的跨设备操作。要解决这个问题，你需要确保所有参与计算的张量都在同一个设备上。

AssertionError: weight model.layers.0.self_attn.q_proj.weight does not exist

sqlora的专栏

11-08

1901

通义千问2.5-7B-Instruct-AWQ量化，但在npu上运行报上面错误，奇怪?： Exception:weight model.layers.0.self_attn.q_proj.weight does not exist AssertionError: weight model.layers.0.self_attn.q_proj.weight does not exist https://www.modelscope.cn/models/Qwen/Qwen2.5-7B-Instruc

解决Expected all tensors to be on the same device, but found at least two devices, cuda:0

发现问题，并解决问题，批判性思维

08-18

5028

（1）可能是模型没有移动到和数据相同的device上：`model.to(device)` （2）可能是input和参数没有在相同device上

pytorch错误及解决方案

热门推荐

John Kang的博客

04-15

3万+

pytorch错误及解决方案目录 RuntimeError: CUDA error: device-side assert triggered RuntimeError:invalid argument 5:k not in range for dimension at /pytorch/ate ... ValueError: optimizer got an empty parameter list The size of tensor a (197) must match the..

Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!

qq_40140808的博客

08-14

2万+

简单记录下。这句话翻译一下就是，期望所有张量在同一设备上，但数据分布在两个设备上，cuda:0和cpu。网上基本上就是两种解决方法：方法一、哪一行报错，就把哪一行数据统一下，要么都放再CPU上，要么都放在GPU上。 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") x.to(device) 方法二、 x = x.cuda() 但是这两种方法..

实战 - 使用 AutoAWQ 进行量化

AI工程化、开源分享、文档翻译、代码笔记

03-08

1441

一、准备 1、安装 autoawq 2、模型准备二、量化 `config.json` 文件变化三、加载量化后模型量化后的输出原始输出对比四、查看模型的精度 1、查看模型卡 2、查看 config.json 中的 `torch_dtype` 3、打印模型信息

Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when

weixin_53704902的博客

04-26

363

Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking argument for argument index in method wrapper_CUDA__index_select)

AWQ量化及AutoAWQ代码详解

qq_48191249的博客

07-12

1万+

awq论文解读及autoawq源码分析

【避坑】paddlepaddle-gpu安装报错：The GPU architecture in your current machine is Pascal, which is not

一起加油~

08-31

9223

paddlepaddle-gpu安装避坑： 1. (The GPU architecture in your current machine is Pascal, which is not compatible with Paddle installation with arch: 70 75 80 86) 2. (OSError: Invalid enum backend type `63`.)

Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0

05-31

这个错误提示通常是因为在使用PyTorch时，有些张量被放置在CPU上，有些张量被放置在GPU上，而在某些操作中需要...# 此时两个张量都在同一个设备上，不会出现Expected all tensors to be on the same device的错误 ```