记 Pytorch 使用错误与排查

最新推荐文章于 2023-12-29 00:00:58 发布
原创 最新推荐文章于 2023-12-29 00:00:58 发布 · 994 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习

本文记录了在使用 Pytorch 进行深度学习时遇到的三个问题：1) 将 CPU Tensor 与 CUDA Tensor 进行运算导致的错误；2) 多次 backward 调用时的内存释放问题；3) 程序中断后显存未释放。通过分析错误原因，提出了对应的解决方案，包括正确转换 Tensor 类型、设置 `retain_graph=True` 以及使用 `nvidia-smi` 管理显存。

今天，调试深度学习网络代码时，遇到了两个错误，想着之前也遇见过，今天再遇见，要记下来，方便查错，也可以帮助别人，遇到这类错误的人可以有所借鉴，快速解决 Bug。

1. RuntimeError: Expected object of type torch.FloatTensor but found type torch.cuda.FloatTensor for argument
  • 分析

    这个错误的含义是需要传入一个 torch.FloatTensor，但是却给了一个 torch.cuda.FloatTensor。Pytorch 中的类型若需要使用 GPU 进行运算加速，就要用 *.cuda() 或者 *.to(device) 来转换。比如我有个模型为 model 和 Tensor 变量 x，如需要用 GPU 加速 model 和 x，就可以用 model.cuda() 和 x.cuda()，而通过查看 model.weight.type() 和 x.type()，就可以看到它们的类型。

    我在出现这个错误的地方，输出了 x 与 model 参数的类型，发现 x 是 torch.cuda.FloatTensor，而 model 的参数是 torch.FloatTensor，二者不能直接运算。而我之前，明明就执行过 model.cuda()

最低0.47元/天 解锁文章
解决vscode中使用pytorch时pylint报错Module torch has no xxx member
XavierJ的博客
10-16 5005
项目场景 安装好了pytorch，写一个简单的测试代码，如下： import torch x = torch.rand(5, 3) print(x) 问题描述 正常输出： tensor([[0.3506, 0.0131, 0.4908], [0.8524, 0.1879, 0.2194], [0.0101, 0.6458, 0.9603], [0.7522, 0.2765, 0.6378], [0.6041, 0.6980, 0.8985]]
记录PyTorch中半精度amp训练出现Nan的排查过程
xu.hyj
12-06 5399
网络的教程来看，在半精度amp训练出现nan问题，无非就是这几种：但是总结起来就三种：先说结论，我使用amp半精度训练，即中间会参杂float16数据类型，加快训练过程。但是本文出现Nan就是因为float16，因为float16支持的最大值在65504，而我的模型中涉及一个矩阵乘法（其实就是transformer中的q@k运算）。其中，a∈[-38,40]，b∈[-39,40]，而矩阵乘法a@b=c，c∈[-61408,inf]。因为a和b的矩阵乘法运算后最大值超过了float16最大表示，造成出现inf
RuntimeError: Expected object of type torch.FloatTensor but found type torch.cuda.FloatTensor for ar
qq_43088746的博客
09-02 1867
运行FPN faster rcnn 进行模型继续训练时出现的BUG，查看了网上的原因，发现时数据格式不匹配，必须得改为cuda格式， 所以修改： if args.resume: load_name = os.path.join(output_dir, 'fpn_{}_{}_{}.pth'.format(args.checksession, args.checkepoch, a...
RuntimeError: Expected object of type torch.FloatTensor but found type torch.cuda.
qq_40178291的博客
09-27 604
RuntimeError: Expected object of type torch.FloatTensor but found type torch.cuda. 代码如下： >>> import torch >>> a=torch.Tensor([1]) >>> b=torch.Tensor([2]) >>> a.requ...
Pytorch RuntimeError:Expected object of type torch.cuda.FloatTensor but found type torch.FloatTensor
湛蓝的天空
03-13 2771
** Pytorch遇到的bug: ** RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.FloatTensor for argument #4 'mat2' 1 RuntimeError: Expected object of type torch.FloatTensor b...
RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.DoubleTensor
weixin_44164489的博客
06-14 1020
用pytorch把numpy转成tensor的时候，遇到了这个报错：“RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.DoubleTensor”。 最终解决办法如下： mask_tsor=torch.from_numpy(mask_np).float() mask_tsor=mask_tsor.cuda() ...
【PyCharm环境下PyTorch问题排查与解决技巧】
[【PyCharm环境下PyTorch问题排查与解决技巧】](https://datascientest.com/wp-content/uploads/2022/05/pycharm-1-e1665559084595.jpg) 参考资源链接：[Pycharm安装torch失败解决指南：处理WinError 126错误]...
基于 PyTorch1.0.0 搭建环境并使用 yolov3 训练自有数据集实现目标检测
最新发布
08-25
在本教程中，我们将详细介绍如何使用PyTorch 1.0.0框架来搭建环境，并利用YOLOv3算法训练一个自定义的数据集，以实现目标检测。PyTorch是一个开源的机器学习库，广泛应用于计算机视觉和自然语言处理等领域。它以其...
JetPack 6.1中GPU版PyTorch安装错误解决方案
》所涉及的技术内容，正是围绕在最新版本的JetPack（文中实际使用的是JetPack 6.0）环境下配置深度学习框架PyTorch的GPU支持过程中遇到的一系列典型问题展开的详细错误排查与解决方案记录。 首先需要明确的是，尽管...
解决PyTorch报错：RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.FloatT
qq_36848732的博客
05-06 1290
1. 问题描述 1.1 在使用pytorch0.4推理pyramidbox 或者SSD时，发生一下报错： 在pytorch0.3上面应该时不报错的，改成0.4之后发生报错。 Traceback (most recent call last): File "test.py", line 241, in <module> det0 = detect_face(image...
RuntimeError:Expected object of type torch.cuda.FloatTensor but found type torch.cuda.ByteTensor
Mrpangggggg的博客
03-21 2240
RuntimeError: Expected object of type torch.cuda.FloatTensor but found type torch.cuda.ByteTensor for argument #3 ‘other’ 在torch<1.0版本中torch.cuda.FloatTensor与torch.cuda.ByteTensor不能直接运算，将torch.cuda.ByteTensor转为float类型，加.float()即可 ...
pytorch 中retain_graph==True的作用
热门推荐
qq_39861441的博客
01-31 3万+
总的来说进行一次backward之后，各个节点的值会清除，这样进行第二次backward会报错，如果加上retain_graph==True后,可以再来一次backward。 retain_graph参数的作用 官方定义： retain_graph (bool, optional) – If False, the graph used to compute the grad will ...
RuntimeError: Trying to backward through the graph a second time...
axept的博客
03-04 1万+
RuntimeError: Trying to backward through the graph a second time… RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. 最开始我按照这个提示将原代码中bac
Pytorch中Trying to backward through the graph和one of the variables needed for gradient错误解决方案
rothschild666的博客
04-14 5900
Trying to backward through the graph a second time one of the variables needed for gradient computation has been modified by an inplace operation
loss回传报错RuntimeError: Trying to backward through the graph a second time解决方法
weixin_53638141的博客
12-29 2062
因为数据原地置换产生的RuntimeError: Trying to backward through the graph a second time解决方法
【解决】RuntimeError:Trying to backward throughthe graph a second time
傲笑风的博客
09-09 1万+
RuntimeError:Trying to backward throughthe graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call.backward() or autograd.grad().
RuntimeError: Trying to backward through the graph a second time (or directly access saved variable
拒绝任何因懒惰而生的省略号
06-24 2万+
用pytorch的时候发生了这个错误，写下来避免以后再次入坑。感谢这次坑让我对预训练模型的使用有了更清楚的认识。RuntimeError: Trying to backward through the graph a second time (or directly access saved variables after they have already been freed). Saved intermediate values of the graph are freed when you call
Pytorch中retain_graph参数的作用
weixin_36670529的博客
04-11 2975
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. 前言 在pytorch神经网络迁移的官方教程中有这样一个损失层函数（具体看这里提供0.3.0版中文链接：https://oldpan.me/archives/pyto
​RuntimeError: Trying to backward through the graph a second time, but the buffers have already free
yangyanbao8389的博客
04-28 1446
为了减少显存的使用，pytorch训练时在调用backward()后会自动释放中间结果，等到第二次调用的时候，中间结果不存在导致的报错，可以在backward()中添加retain_graph=True参数，保留中间结果。定义了循环外的变量，在第一次backward的时候释放了，从而导致第二次forward的时候，循环外的变量释放同时无法redo导致中间结果丢失报错。等会，这不符合直觉啊，不应该每次forward都走一遍模型，创建一遍graph么？刚好评论区有人问了这个问题​​​​​​​。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值