非法的内存访问 RuntimeError: CUDA error: an illegal memory access was encountered

最新推荐文章于 2025-05-13 10:50:51 发布

跨不过

最新推荐文章于 2025-05-13 10:50:51 发布

阅读量6.5k

点赞数 7

CC 4.0 BY-SA版权

文章标签： pytorch gpu cuda 深度学习

本文链接：https://blog.youkuaiyun.com/weixin_46124467/article/details/121599321

本文探讨了一名开发者在训练大模型时遇到CUDA非法内存访问错误的问题，通过尝试、调试和外网建议，发现可能是GPU硬件问题。通过在代码中添加延迟函数缓解GPU压力，成功解决了这个问题并继续训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

跑一些大模型、别人的项目、github上的代码

编译正常通过，运行的时候随机报错(某个epoch就因为报错停止了)

然而使用CPU跑却可以


报错 RuntimeError: CUDA error: an illegal memory access was encountered 
CUDA kernel errors might be asynchronously reported at some other API call,
so the stacktrace below might be incorrect. 
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

查找了很多博客都没有给出解决方案

最后在外网的评论说可能是GPU硬件问题导致的错误，顺着这个思路

在模型训练代码里面添加延时函数 Thread.sleep(毫秒数); 延缓GPU压力

可以一直跑下去了！