pytorch训练的时候 shm共享内存不足，导致训练停止

最新推荐文章于 2025-09-09 18:31:30 发布
原创 最新推荐文章于 2025-09-09 18:31:30 发布 · 692 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

1.查看shm情况

df -h /dev/shm

在这里插入图片描述
内存已经满了，因为之前训练多次训练意外停止到shm中的缓存不能及时被清理
2、手动清理shm
在这里插入图片描述
依然没被释放
在这里插入图片描述
3、查看关联的进程，一个一个kill

lsof |grep deleted

kill -9 46619 44618 44617 。。。。。

在这里插入图片描述

4、搞定
在这里插入图片描述

better*
关注
vllm学习
小白菜的博客
05-06 1095
shm-size=1g 是设置共享内存为 1GB，适用于大多数情况，但深度学习任务可能需要更大值（如 2g 或 4g）。如果遇到 CUDA OOM 或数据库崩溃，优先检查 shm-size 是否足够。启动容器时设置，运行后无法修改。
SHM不足导致导致数据库宕机
要么数一数二，要么不三不四。
02-21 404
今天早上到办公室，开发说测试环境应用程序挂掉，看日志说是连接不上数据库，经查看，数据库在晚上10点的时候挂掉，告警日志报错如下： WARNING: You are trying to use the MEMORY_TARGET feature. This feature requires the /dev/shm file system to be mounted for at least 78...
PyTorch报错insufficient shared memory (shm)
HaisHa1的博客
06-07 1361
PyTorch报错insufficient shared memory (shm)
【记录】多进程共享内存Python
最新发布
Word_And_Me_的博客
09-09 170
【代码】多进程共享内存。
docker启动容器后，shm内存不够解决方案
rcoon
03-24 5311
分配shm的内存大小
Docker容器中运行pytorch模型shared memory(shm)不足的解决方法
weixin_38267786的博客
05-25 4377
错误信息 ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm). Traceback (most recent call last): File "train_raf-db.py", line 214, in <module> run_training() File "train_raf-db.py", line 158
docker 生产容器 运行出现shm 空间不足问题解决
weixin_42960918的博客
06-17 755
shm空间不足问题
在一段神经网络的训练中按下ctrl+c没有立即停止，而是在五六秒后弹出forrtl: error (200): program aborting due to control-C event Image PC Routine Line Source libifcoremd.dll 00007FF9F018DF54 Unknown Unknown Unknown KERNELBASE.dll 00007FFAF873B0AD Unknown Unknown Unknown KERNEL32.DLL 00007FFAF982E8D7 Unknown Unknown Unknown ntdll.dll 00007FFAFAEFC34C Unknown Unknown Unknown QMutex: destroying locked mutex QMutex: destroying locked mutex并且终端卡住，没有像正常结束进程一样打印当前地址并等待指令
08-27
sudo rm /dev/shm/* # 清除共享内存锁 ``` #### 方法4：框架特定解决方案 **PyTorch用户**： ```python torch.utils.terminate_processes() # 1.9+版本专用 ``` **TensorFlow用户**： ```python from tensorflow....
docker cuda out of memory
03-27
docker run --gpus all --shm-size=8g -it your_image # 增加共享内存 ``` 对于CUDA应用，建议设置`--shm-size`至少为物理内存的50%[^3]。 #### 3. 监控GPU内存占用 在宿主机或容器内运行： ```bash watch -n 1 ...
dataloader中的num_worker参数有什么用
08-02
- **共享内存**：当worker崩溃时可能留下共享内存文件，需手动清理（Linux下`/dev/shm`目录）。 - **Windows限制**：在Windows系统上，多进程加载需要将主代码包装在`if __name__ == '__main__':`中[^2]。 ### 性能...
[yolov5]The size of tensor a (3078) must match the size of tensor b (3) at non-singleton dimension报错
Satellite的博客
05-09 3393
问题描述: 在使用yolov5训练自己制作的数据集时出现报错 背景: 数据集是自己制作的yolo格式数据集,图片较大,没有做resize处理,分辨率为4000*3000,猜测可能是数据集出现问题 在网上搜索报错信息: 解决方案一： img = Image.open(image_path) 改为 img = Image.open(image_path).convert(‘RGB’)。 解决方案二： 问题1::RuntimeError: DataLoader worker (pid XXX) is kille
Python任意进程共享内存
紫空的博客
12-15 5728
Python跨进程、跨语言共享内存
Python - 进程操作共享内存【SharedMemory】
Mr_WoLong
12-11 3747
进程操作共享内存【SharedMemory】
系统优化：docker当中的/dev/shm共享内存问题
流楚丶格念的博客
10-12 2843
本次问题的核心在于长时间运行的容器中，RocketMQ 服务的共享内存没有得到合理的分配和监控。在高并发的生产环境下，默认的64MB共享内存配置很容易耗尽，导致服务性能下降甚至宕机。通过重新分配更大的共享内存并加强监控，我们可以确保 RocketMQ 在长时间运行时仍然保持高效稳定。
Python和Shell简单对照
枯木的Linux专栏
12-23 1万+
introduction 先以例子开始： [root@kumu ~]# ls -l /tmp/ 总用量 4 drwxr-xr-x. 2 daemon daemon 4096 11月  3 14:11 session   [root@kumu ~]# python2.6 Python 2.6.6 (r266:84292, May 1 2012, 13:52:42) [GCC 4.4
解决 Docker 中 DataLoader 多进程错误：共享内存不足
weixin_44115575的博客
12-24 1285
在容器化环境（如）中使用深度学习框架进行训练时，通常会使用的DataLoader来加载数据。在使用DataLoader的多进程数据加载时，当这时，我们的训练任务无法正常进行，系统也没有给出详细的错误信息，导致我们难以快速定位问题。
pytorch训练过程io性能加速技巧（ubuntu 22.04）
u011876981的博客
10-19 1061
对于用于做深度学习的个人PC，很容易存在的一个问题，即重GPU，而忽略IO性能，导致输出延时过高，显卡吃不饱。这里总结一些小的技巧，帮助提升IO性能。
Linux df -h 显示磁盘空间满，但实际未占用满——问题分析
热门推荐
wohu1104的专栏
12-26 5万+
问题现象 工作中遇到一个问题，在 TX2 系统上，告警提示磁盘空间不够，如图所示 wohu@wohu:/$ df -h Filesystem Size Used Avail Use% Mounted on /dev/root 28G 28G 0 100% / devtmpfs 7.7G 0 7.7G 0% /dev tmpfs ...
优化Pytorch训练速度：连续内存参数存储技术
资源摘要信息:"contiguous_pytorch_params是针对PyTorch框架的一个优化工具，它通过确保模型参数存储在一个连续的内存块中来加速模型训练过程。该技术主要关注减少GPU在执行模型训练时的内存访问开销，从而提升性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值