model在CPU上能正常运行在GPU上却卡住

最新推荐文章于 2025-10-30 14:55:53 发布
原创 最新推荐文章于 2025-10-30 14:55:53 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #pytorch

1、torch.sigmoid
2、lstm的hidden_size先改成很小的，后来又增上去；
3、最最根本的原因是：cpu和cuda之间的数据传输太多，导致很慢很慢！！！

true=label.cuda()
pred=torch.sigmoid(pred).cuda()
loss = criterion(pred.float(), true.float())

改成

true
最低0.47元/天 解锁文章
yolov5运行detect.py之后卡住了？没后续，没结果，没报错，怎么办？如何解决？
**My Coding Family**
06-19 956
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
服务器运行程序一直不能上GPU,一直在CPU上跑的原因
薰珞婷紫小亭子的博客
12-25 1万+
服务器运行程序一直不能上GPU,一直在CPU上跑的原因 一、问题描述 网上找的别人的开源代码，通过配置参数可以实现程序成功运行，但是运行速度很慢，通过gpustat命令查看，发现一直都是在cpu上运行，可程序中，明明写了device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") 二、解决方法 1 . 通过将原程序中的device = torch.device("cuda:0" if torch.cuda.is_availab
【MindSpore】CPU可以正常运行的，但是GPU下报错
xi_xiyu的博客
10-31 1283
GPU和CPU的特性是有差异的，不同的硬件都会有差异，所以同样的代码有的硬件下可能正常，有的就会出现NAN等问题；动态图模式下面是可以使用print()操作的，在你觉得可能出错的地方尝试print一下具体数据，看看能不能获得相应的信息，比如你这边是提示了无效的loss，尝试看看能不能在计算loss的地方print(loss)一下。可能是GPU环境下某种数据类型不支持，或者GPU下loss出现NAN了；2、context.set_context(device_target="GPU") 报错。
【问题及解决】训练一段时间卡住GPU Memory Usage满但是GPU-Util 是0%
kk的博客
03-03 2098
猜测这次的无故卡死是因为多线程读取数据导致内存爆炸，大内存很重要，这里8和4都试过了，因此选择调小num_works：8->4->2。扩充了数据集的种类并且整合之后使用yolov7nohup挂起训练，结果到了epoch45的时候卡住了，一直不动。居然是因为找不到图像，应该是我数据处理步骤较多，有的没检查清楚，结果导致了这样的结果，万万没想到啊无语死了。Workers继续调小，变成2，结果还是会出现一样的情况。可以看到显存使用几乎是满的，但是GPU使用率一直是0.结果卡了好久，我发现出现报错了！
【深度学习效率革命】：为什么你的PyTorch模型无法正确使用GPU？
IterLoom的博客
10-30 847
掌握PyTorch模型在GPU与CPU间切换技巧，解决设备不匹配导致的性能瓶颈。适用于模型部署、训练中断等场景，通过.to()方法灵活迁移，提升运行效率。实用指南值得收藏。
pytorch无法将模型加载到gpu上
m0_48095841的博客
10-22 3568
通常是model = model.to(cuda)就好了 但由于搭建模型的时候，forward函数的代码直接调用这个类外部的函数，如图所示： 在这里直接调用了外部的函数， 这个函数里面有torch.nn.Conv2d等 所以会导致在将模型加载到GPU的时候，无法将这些外部的函数也加载到GPU上 所以在一个类的forward函数里面尽量不要使用外部的函数，而是调用这个类本身的函数，或者是在初始化的时候，定义好self.block，然后再在forward函数里面使用self.block 尽量.
求大佬指点，模型和数据在GPU上但运行时CPU满载荷运行，GPU没反应，GPU是正常的，运行其他的模型没有问题
qq_66038112的博客
06-05 353
模型的部署在GPU，LOSS输出也在GPU，但是运算不在，还有其中必须要有logits=logits.to(device)才能运行，因为没有的话在第一次运行后模型输出的数据会在CPU上，模型的输入数据也在GPU上，但是运算时gpu利用率不到%2，cpu满载荷运行。
使用yolov5模型过程中遇到的问题：无法使用GPU跑模型的一种解决方法
qq_46549508的博客
09-12 3282
torch1.9.0+cu114 和 1.9.0 是PyTorch的两个不同版本，它们之间的主要区别在于CUDA（Compute Unified Device Architecture）支持的版本和相关的硬件兼容性。**的是支持cuda的版本，安装此版本才能使用gpu跑模型，而且此版本的大小回避标准版的要大，通常是几个G。如果你的系统上安装了CUDA 11.4，并且你的GPU支持这个版本，那么使用这个PyTorch版本可以获得更好的性能。这是PyTorch的标准版本，通常不包含特定的CUDA版本。
在Linux上如何让ollama在GPU上运行模型
ZhongUncle的博客
01-18 2万+
之前一直在Mac上使用ollama所以没注意，最近在Ubuntu上运行发现一直在CPU上跑。我一开始以为是超显存了，因为Mac上如果超内存的话，那么就只用CPU，但是我发现Llama3.23B只占用3GB，这远没有超。看了一下命令没发现有相关的选项。所以我查了一下。运气很好，找到了一篇博客写了可以强制在GPU上的方法：用容器跑。我也不知道为什么用容器就在GPU上跑了，官方也没有相关说明。
我刚才给你的不是报错信息，是我在AotuDL上运行EdgeNAT模型时卡住了，没有任何报错，模型也不继续运行迭代，GPU应该是没有启用，这是为什么
最新发布
11-24
我们正在处理用户在AutoDL上运行EdgeNAT模型时遇到的训练卡住问题，具体表现为：训练不继续迭代且GPU未启用。根据用户提供的日志片段，我们可以看到训练在初始化阶段就停止了，没有进入迭代过程。同时，日志中出现了...
pytorch 多GPU训练卡住
08-07
- 引用[2]提到在GPU上计算loss时卡住，可能由于显存不足。 - 引用[3]提到多线程并行导致GPU利用率100%并卡住。 所以，我需要覆盖常见原因和解决方案。 常见原因： 1. **NCCL通信问题**：NCCL（NVIDIA Collective ...
容器里 pytorch model.cuda()卡死
yimingfei的博客
11-26 8308
在容器里，模型运行到model.cuda()这一步很久不动，直到被kill。 解决方案： 查看容器里cuda为10.2版本，但是torch安装的是0.4.0版本，所以我重新安装为匹配的版本： pip3 install torch==1.6.0 torchvision==0.7.0 这样就解决了。 ...
神经网络代码总是停在to(device)很久之后才能继续运行（解决）
我有明珠一颗的博客
06-05 9071
如图所示，每次用cpu就能跑，但跑非常慢，然后就会把cuda设置为True，这样就在gpu上面跑了，但每次跑到to(device) 的时候就会卡很久很久，总之还是很慢很慢，所以在朋友的帮助下解决了这个问题。 CUDA版本检查，我的显卡是3060，据说GeForce RTX 30系列显卡仅支持CUDA 11.1及以上版本，于是去安装了CUDA11.1。 检查下环境变量，没毛病： 然后再在终端执行：nvcc -V 检查下，没毛病： 接着，在pytorch官网找到cuda11.1对应的pyt...
pytorch在jupyter中无法使用GPU原因之一
weixin_56067040的博客
08-11 1162
后面了解想到 jupyter不是使用Anconada创建的虚拟环境，自然无法激活GPU版本的pytorch，在这里只需要给 jupyter变更环境既可。先前在论坛阅读关于如何使用Anconada安装GPU版本的pytorch，最初的一步就是创建虚拟环境。然后在jupyter lab中用下面带代码打印出来一直是False。然后重启 jupyter 切换内核即可。当然这只是解决问题的其中一个方法。
tensorflow在CPU可以正常运行，在GPU报错
weixin_45885232的博客
02-06 794
tensorflow在GPU下报奇奇怪怪错误的解决方案，尤其是7209行错误
【MindSpore Profiler】【性能调优】GPU分布式训练卡死
weixin_45666880的博客
06-25 1052
问题描述：【功能模块】【操作步骤&问题现象】1、在单机四卡环境下，使用官方提供的脚本进行训练，参数配置未改变2、在run_pretrain.py文件中调用Profiler工具记录性能数据（代码中第24，25行）3、发现训练过程卡死不动，程序未报错退出，此时GPU利用率为0，CPU利用率很高4、相关环境为【截图信息】卡死时状态 解答：从日志看，应该在正常执行，只是用profiler之后，会改成同步执行，网络执行速度就会比较慢。一般情况下，大网络，只会跑几个step用来分析性能，不会长期跑。 step 收集，可
GPU训练loss不下降，CPU正常
luckyqiong
03-20 1961
数据并行机制相关
PyTorch 训练时中遇到的卡住停住等问题
热门推荐
yyywxk的博客
05-24 7万+
- 问题描述 使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。 - 可能的原因 搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。 但
CUDA 程序运行时 CPU 100%的一个解决方法
joshua2011的专栏
01-12 4883
CUDA 程序运行时CPU 100%的问题有点让人头痛，在实验过程中调用了kernel函数后，再调用cudaMemcpyAsync，但发现在还有会到block在这个所谓的async api，strace 跟了一下，发现99.999%都是 clock_gettime(CLOCK_MONOTONIC_RAW, {2461, 485666623}) = 0 于是实然有了一个灵感，为什么我不写一个
代码运行过程中卡在model.safetensors
08-05
在加载 `.safetensors` 文件时，如果代码卡住，通常与文件的完整性、元数据缺失或加载逻辑相关。以下是几种可能的原因及对应的解决方案： ### 1. **元数据缺失导致加载失败** 当 `.safetensors` 文件在保存时未包含元数据（如 `"format"` 字段），某些库（如 Hugging Face Transformers）在解析时可能无法识别文件格式，从而导致加载失败或卡住。 解决方案是重新保存文件并添加必要的元数据。例如，可以使用以下代码为 `.safetensors` 文件添加 `"format": "pt"` 元数据： ```python from safetensors import safe_open from safetensors.torch import save_file safetensor_path = "ckpt/sd/text_encoder/model.safetensors" fname, ext = safetensor_path.split("/")[-1].split(".") tensors = dict() with safe_open(safetensor_path, framework="pt", device="cpu") as f: for key in f.keys(): tensors[key] = f.get_tensor(key) save_file(tensors, f"ckpt/sd/text_encoder/{fname}-with-format.{ext}", metadata={"format": "pt"}) ``` 加载时，确保指定 `local_files_only=True` 以避免从远程下载模型： ```python loaded_model = AutoModelForSequenceClassification.from_pretrained("my_model_safetensors", local_files_only=True) ``` ### 2. **文件损坏或格式不兼容** 如果 `.safetensors` 文件在保存过程中出现错误，或者文件损坏，加载时也可能卡住。可以通过以下方式验证文件的完整性： - 使用 `safe_open` 手动读取文件并检查张量键值： ```python from safetensors import safe_open with safe_open("model.safetensors", framework="pt", device="cpu") as f: for key in f.keys(): print(key) ``` 如果该过程卡住或抛出异常，则可能是文件损坏，建议重新生成 `.safetensors` 文件。 ### 3. **加载时的设备配置问题** 在加载 `.safetensors` 文件时，如果指定的设备（如 GPU）不可用或内存不足，也可能导致程序卡住。可以尝试将加载设备指定为 CPU： ```python loaded_model = AutoModelForSequenceClassification.from_pretrained("my_model_safetensors", local_files_only=True, device_map="cpu") ``` ### 4. **Hugging Face Transformers 版本兼容性问题** 某些版本的 Hugging Face Transformers 库对 `.safetensors` 文件的支持可能存在兼容性问题。建议升级到最新版本以确保兼容性： ```bash pip install --upgrade transformers ``` ### 5. **使用多线程或异步加载优化性能** 如果模型较大，加载过程可能耗时较长。可以尝试使用异步加载或并行处理来优化性能。例如，使用 `torch` 的异步数据加载机制： ```python import torch # 使用异步加载 state_dict = torch.load("model.safetensors", map_location="cpu", weights_only=True) ``` ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值