测试时报错 RuntimeError: CUDA out of memory.

最新推荐文章于 2025-04-27 16:48:26 发布
最新推荐文章于 2025-04-27 16:48:26 发布
阅读量3.3k 收藏 7
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 学习摘录 文章标签： RuntimeError: CUDA out of memo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34475584/article/details/103616674

问题描述：

训练神经网络模型，训练时正常，训练一个epoch后测试的时候，报错RuntimeError: CUDA out of memory. 然而我的模型并没有很大，GPU占用率也不高。

解决方法：

with torch.no_grad():
    (your test code)

 

 

显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4435
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
yolov5测试报错：RuntimeError: CUDA out of memory.
猫猫与橙子的博客
08-22 6868
RuntimeError: CUDA out of memory.不一定是现存不足；
使用YOLOv5模型训练： 显卡内存不够导致报错RuntimeError: CUDA out of memory
weixin_45486294的博客
11-04 4895
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 2.00 GiB total capacity; 1.66 GiB already allocated; 0 bytes free; 1.72 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid
RuntimeError: CUDA error: out of memory CUDA kernel errors might be 问题解决
laosao_66的博客
04-27 373
在开头加上这个就可以限制只在第一张卡上运行了，然后果然利用率上去了，也没有爆内存。
解决：RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 2.00 GiB total capacity； 1
热门推荐
地中海の养成记
01-31 6万+
1. 问题2. 分析3. 解决 1. 问题 训练模型时报错： RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 2.00 GiB total capacity; 1.49 GiB already allocated; 57.03 MiB free; 6.95 MiB cached) 2. 分析 这种问题，是GPU内存不够引起的 3. 解决 方法一： 换高性能高显存的显卡 方法二：修改代码 报错的训练代码为.
RuntimeError: CUDA out of memory.
宁静致远
09-27 592
Win10运行环境，python编程语言，运行一个pytorch框架的程序报错 “RuntimeError: CUDA out of memory. Tried to allocate 98.00 MiB (GPU 0; 8.00 GiB total capacity; 4.39 GiB already allocated; 5.27 MiB free; 89.58 MiB cached)”，解决办法： bachsize的参数值减小就解决了，举个例子：这里的主机运行内存是16GB，程序ba...
RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0； 2.00 GiB total capacity； 1.29
weixin_43725886的博客
07-04 1万+
RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch) 解决方案
RuntimeError: CUDA error: out of memory
PuLaNa_的博客
08-10 930
RuntimeError: CUDA error: out of memory
复现centernet时，报错RuntimeError: CUDA error: out of memory
Sep21m_wyy的博客
07-04 268
复现centernet时，进行测试时报错RuntimeError: CUDA error: out of memory
【算法】CenterNet运行demo时报错：RuntimeError: CUDA error: out of memory
Vincent Lai的博客
10-01 1614
问题描述 python demo.py ctdet --demo /home/vincent/Code/CenterNet-master/images/ --load_model /home/vincent/Code/CenterNet-master/models/ctdet_coco_dla_2x.pth 运行以上面的demo代码时出现下面的错误 Fix size testing. trai...
torch tensor调用detach时出现RuntimeError: CUDA error: an illegal memory access was encountered解决
蓝羽飞鸟的博客
08-19 341
torch.tensor 遇到cuda 非法访问内存的解决方案
RuntimeError: CUDA out of memory
梁小憨憨的博客
02-12 3945
今天在训练模型的时候突然报了显存不够的问题，然后分析了一下，找到了解决的办法，这里记录一下，方便以后查阅。 **注**：以下的解决方案是在**模型测试**而不是模型训练时出现这个报错的！
RuntimeError: CUDA out of memory. 错误日志
A_Tu_daddy的博客
04-08 1307
运行代码时出现的错误如下： RuntimeError: CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 4.00 GiB total capacity; 2.91 GiB already allocated; 166.40 KiB free; 2.93 GiB reserved in total by PyTorch) 看了一下自己...
【报错解决】RuntimeError: CUDA error: out of memory（已解决）
weixin_44502754的博客
03-29 3044
【报错解决】RuntimeError: CUDA error: out of memory（已解决）
在本机测试时出现CUDA out of memory
jindayue的博客
05-30 370
调小batch_size
--------------------------------------------------------------------------- RuntimeError Traceback (most recent call last) Cell In[10], line 19 16 else: 17 print("⚠️ GPU未正常识别") ---> 19 check_gpu_config() Cell In[10], line 15, in check_gpu_config() 13 # 性能测试 14 x = torch.randn(10000, 10000).cuda() ---> 15 print(f"[6] 张量运算测试: {x @ x.t().mean():.4f}") # 应输出有效数值 16 else: 17 print("⚠️ GPU未正常识别") RuntimeError: both arguments to matmul need to be at least 1D, but they are 2D and 0D
最新发布
05-13
<think>好的，用户遇到了PyTorch在GPU上运行时出现的RuntimeError，具体是关于matmul运算的错误：“both arguments to matmul need to be at least 1D”。我需要先理解这个错误的原因，然后找出解决方案。 首先，matmul是矩阵乘法运算，要求两个张量至少是一维的。如果其中一个张量是零维（标量），或者它们的维度不符合矩阵乘法的要求，就会报这个错误。用户提到是在GPU上运行，所以可能涉及到张量在GPU上的操作。 接下来，回顾用户提供的引用内容。引用[1]主要涉及分布式训练，可能与当前问题无关。引用[2]是关于torchvision的数据转换，比如ToTensor和ToPILImage，可能用户在处理数据时转换不当，导致张量形状问题。引用[3]提到clone操作，虽然clone不会改变张量维度，但如果在操作中错误地改变了维度，也可能导致问题。 用户上一次的问题是关于PyTorch和CUDA的配置验证，现在转向具体的运行时错误，说明配置已经正确，但代码中存在逻辑错误。需要检查张量的维度是否正确，尤其是在进行矩阵乘法之前。 可能的原因： 1. 输入张量中存在零维张量，比如标量。 2. 张量的维度不匹配，比如一个是1D，另一个是0D。 3. 数据预处理时使用torchvision的转换导致张量形状变化，比如错误地压缩了维度。 解决方案步骤： 1. 检查输入张量的维度，使用dim()方法确认至少是1D。 2. 确保张量在GPU上，使用device属性检查。 3. 使用unsqueeze增加维度，如果张量是0D。 4. 检查数据预处理步骤，如ToTensor是否正确地保持了维度。 5. 打印张量的形状和类型，确认是否符合预期。 另外，用户可能在转换数据时，比如使用ToTensor，将图像转换为3D张量（C×H×W），但如果在后续处理中错误地索引或切片，可能导致维度减少。例如，如果选择了一个通道，但没有保持维度，可能会变成2D，导致与另一个1D张量相乘时报错。 需要给出具体的代码示例，比如如何检查维度，如何调整形状，以及如何在运算前确保维度正确。同时，提醒用户注意数据预处理中的潜在问题，尤其是在使用torchvision转换时保持维度的一致性。 最后，考虑用户是否在分布式训练中遇到此问题，但根据错误信息，更可能是在单个GPU上的运算错误。因此，主要关注张量形状和设备匹配的问题。</think>#### 一、错误根源分析 `RuntimeError: both arguments to matmul need to be at least 1D` 错误的根本原因是**输入张量维度不满足矩阵乘法要求**，具体表现为以下三种情况： 1. **零维标量输入** ```python x = torch.tensor(3).cuda() # shape: torch.Size([]) y = torch.randn(2).cuda() torch.matmul(x, y) # 触发错误 ``` 2. **维度压缩导致降维** ```python a = torch.randn(3, 1).cuda() b = a.squeeze() # shape: torch.Size([3]) torch.matmul(b, b) # 合法运算但可能引发后续维度问题 ``` 3. **张量设备不匹配** ```python cpu_tensor = torch.randn(2) gpu_tensor = torch.randn(2).cuda() torch.matmul(cpu_tensor, gpu_tensor) # 跨设备运算错误 ``` #### 二、解决方案步骤 ##### 步骤1：维度诊断与修正 ```python def validate_tensors(*tensors): for i, t in enumerate(tensors): print(f"Tensor {i+1}:") print(f"Shape: {t.shape} | Device: {t.device} | Dtype: {t.dtype}") # 使用示例 x = torch.randn(3).cuda() y = torch.tensor(5).cuda() validate_tensors(x, y) # 立即发现y是零维张量 ``` ##### 步骤2：维度扩展技术 | 场景 | 方法 | 示例 | |------|------|------| | 零维转一维 | `unsqueeze(0)` | `y = y.unsqueeze(0)` | | 二维降一维 | `squeeze()` | `x = x.squeeze(1)` | | 高维对齐 | `view()` | `z = z.view(-1, 1)` | ```python # 修正代码示例 x = torch.randn(3).cuda() # shape: [3] y = torch.tensor(5).cuda() y = y.unsqueeze(0) # shape: [1] result = torch.matmul(x, y) # 合法运算 shape: [3] @ [1] → [3] ``` ##### 步骤3：设备一致性验证 ```python def check_device(tensor_a, tensor_b): if tensor_a.device != tensor_b.device: raise RuntimeError(f"设备不匹配: {tensor_a.device} vs {tensor_b.device}") if tensor_a.dim() < 1 or tensor_b.dim() < 1: raise RuntimeError("输入张量至少需要1维") # 在matmul前插入检查 check_device(x, y) ``` #### 三、典型案例解析 ##### 案例1：图像处理中的维度丢失 ```python # 错误代码 image = cv2.imread("image.jpg") # shape: (H, W, C) transform = tv.transforms.ToTensor() tensor = transform(image) # shape: [C, H, W] flatten = tensor.mean(dim=0) # shape: [H, W] weights = torch.randn(256).cuda() output = torch.matmul(flatten, weights) # 错误：[H,W] @ [256] ``` **修正方法**： ```python flatten = tensor.mean(dim=0).view(-1) # shape: [H*W] output = torch.matmul(flatten, weights) # 合法：[H*W] @ [256] ``` ##### 案例2：分布式训练中的广播问题 结合引用[1]的分布式代码： ```python def run(rank, size): local_data = torch.randn(10).cuda() # 错误尝试广播标量 wrong_tensor = torch.tensor(0).cuda() # 零维张量 dist.broadcast(wrong_tensor, src=0) # 触发维度错误 ``` **修正方法**： ```python correct_tensor = torch.tensor([0]).cuda() # 一维张量 dist.broadcast(correct_tensor, src=0) ``` #### 四、调试工具推荐 1. **形状检查装饰器**： ```python def validate_matmul(func): def wrapper(a, b): assert a.dim() >= 1 and b.dim() >= 1, "输入维度不足" assert a.shape[-1] == b.shape[-2], f"形状不匹配 {a.shape} vs {b.shape}" return func(a, b) return wrapper @validate_matmul def safe_matmul(a, b): return torch.matmul(a, b) ``` 2. **维度可视化工具**： ```python from torchviz import make_dot a = torch.randn(2,3).cuda() b = torch.randn(3,4).cuda() dot = make_dot(torch.matmul(a, b), params={'a':a, 'b':b}) dot.render("matmul_graph") # 生成计算图 ``` #### 五、进阶预防措施 1. **类型提示强制校验**： ```python from torch import Tensor def gpu_matmul(a: Tensor, b: Tensor) -> Tensor: assert a.is_cuda and b.is_cuda, "张量必须在GPU" return a @ b ``` 2. **单元测试模板**： ```python import unittest class TestMatmul(unittest.TestCase): def setUp(self): self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu") def test_dimension(self): with self.assertRaises(RuntimeError): x = torch.tensor(5).to(self.device) y = torch.tensor(3).to(self.device) torch.matmul(x, y) ``` #### 六、GPU相关错误扩展排查 ```python ERROR_CHECKLIST = [ ("CUDA out of memory", "减少batch size或使用梯度累积"), ("device-side assert triggered", "检查张量数值范围"), ("expected scalar type Float", "添加.to(torch.float32)转换"), ("mat1 and mat2 shapes cannot be multiplied", "使用torch.reshape调整维度") ] def handle_cuda_error(e: RuntimeError): for err_pattern, solution in ERROR_CHECKLIST: if err_pattern in str(e): return f"检测到错误类型: {err_pattern}\n解决方案: {solution}" return "未知错误类型，建议检查张量形状和设备一致性" ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值