pytorch无法把共享内存写入文件

最新推荐文章于 2025-06-21 23:31:57 发布
原创 最新推荐文章于 2025-06-21 23:31:57 发布 · 1.8k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

环境：

在容器中跑pytorch模型的训练 

问题表现：

ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm).
Traceback (most recent call last):
  File "/root/anaconda3/lib/python3.8/multiprocessing/queues.py", line 239, in _feed
    obj = _ForkingPickler.dumps(obj)
  File "/root/anaconda3/lib/python3.8/multiprocessing/reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
  File "/root/anaconda3/lib/python3.8/site-packages/torch/multiprocessing/reductions.py", line 358, in reduce_storage
    fd, size = storage._share_fd_cpu_()
RuntimeError: unable to write to file </torch_27822_2114653298_869>: No space left on device (28)

问题原因：

torch.utils.data.dataloader使用了共享内存。容器根目录没有空间，导致共享内存写到文件的时候报错。

解决方案，dataloader不使用共享内存：

f
最低0.47元/天 解锁文章
(fast-reid)torch error:DataLoader worker (pid(s) 26462) exited unexpectedly
聿默的博客
07-11 1610
1.问题 之前的时候已经配置好了fast-reid的环境，隔了以后再次运行这个，发现出现缓存不足的问题： File "/usr/local/lib/python3.6/dist-packages/torch/multiprocessing/reductions.py", line 315, in reduce_storage fd, size = storage._share_fd_() RuntimeError: unable to write to file </torch_2745
“date: write error: No space left on device”解决
bigwood99的博客
07-26 5859
今天在一台服务器上做文件方面的操作。 突然提示“date: write error: No space left on device” 本来心情极佳，迎头来了一闷棍。
Development Problems Based On PyTorch
woxiwangxuehaocpp的专栏
11-22 1588
PyTorch工程实践中的经验总结
运行pytorch作业出现错误 RuntimeError: unable to write to file
u012796629的博客
05-05 1万+
运行pytorch作业出现错误 RuntimeError: unable to write to file </torch_xxx> https://github.com/huaweicloud/dls-example/issues/26 pytorch将共享内存的临时文件保存在了/torch_xxx文件中，即容器中的根目录下。容器磁盘空间不足导致该问题的发生。目前可以通过以下代码...
Python和C++赋值共享内存、Python函数传址传值、一些其他的遇到的bug
不知语冰
06-06 679
3、std::vector访问溢出时不会报错，只是会返回垃圾值。RPG代码访问相机类型和个数时，ID错了，但访问却没出错。
从零开始构建PyTorch数据加载管道：nii文件的终极指南
![Pytorch 使用 nii数据...文章首先概述了PyTorch数据加载管道的基础知识，随后深入到nii文件的结构解析和处理工具，介绍了如何在PyTorch中识别和操作nii文件。在此基础上，本文详述了构建基础数据管道的步骤，包括自定
YOLOv11 安装全攻略：PyTorch 与 CUDA 环境搭建详解（含 pip/conda 命令 + 依赖检查指南）（一）
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
06-21 2462
本文介绍了YOLOv11目标检测模型的环境配置要求，重点分析了PyTorch与CUDA版本的兼容性问题。YOLOv11需要稳定的深度学习环境，推荐使用Linux系统、Python 3.9+、兼容的PyTorch版本（建议2.x）和CUDA工具包（11.7+），以及12GB以上显存的GPU。文章提供了PyTorch与CUDA版本对照表，并介绍了四种安装策略和验证兼容性的Python代码。最后强调了正确配置环境对发挥YOLOv11最佳性能的重要性。
内存管理秘籍：PyTorch避免内存泄漏的技巧
![PyTorch使用数据并行的具体方法]...为了深入理解PyTorch内存管理，本章首先将
Python序列化
weixin_46169589的博客
07-20 460
python序列化序列化jsondumps序列化loads反序列化dump load注意事项：pickleshelve 序列化 序列化：转向一个字符串数据类型 反序列化：字符串返回原数据类型 序列：字符串 涉及三个模块： 1、json 2、pickle 3、shelve 各个模块优缺点 json: 通用的序列化格式 只有很少一个部分数据类型能通过json转换成字符串 pickle 所有的python数据类型可以转换成字符串 pickle序列化的内容只有python能理解 且部分反序列化依赖python代码
python怎么在多个进程中运行一个 dll 库？
mingyuexingzuo的博客
12-05 655
试图在 python 中使用 Pooling 运行 dll-library 并遇到以下问题。我创建了一个简单的 dll 库来说明这个问题。这是 dll 库的源代码，其中仅包含一个函数，该函数对两个双精度数求和： 在 Linux 系统上编译它使用 在以下 Python 脚本中使用此 dll 库： 收到以下错误消息： 究竟错了什么？如何在 python 中正确使用具有多个进程的 dll-library？解决方案：不能 pickle dll 指针，因为访问 dll 需要一个系统调用来将它们链接到你
使用进程池时遇到的坑TypeError: can't pickle _thread.lock objects
Ch3nnn的博客
11-23 4789
当运行代码时, 抛出如下异常: File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/multiprocessing/connection.py", line 206, in send self._send_bytes(_ForkingPickler.dumps(obj)) File "/Li...
【Python】记录python源码multiprocessing/reduction.py引发的问题
pangpd的博客
05-13 3098
问题描述 使用测试集在保存的模型测试最终分类精度时 test_loss, test_acc = test(test_loader, model, criterion, epoch, use_cuda) 引发异常： OverflowError: cannot serialize a bytes object larger than 4 GiB OverflowError：无法序列化大于4 GiB的字节对象。 原因 大概意思是测试集太大了，无法进行正常处理。有大佬说这是python的一个Bug（https:
RuntimeError: unable to write to file ＜/torch_2818186_3541370554＞ ERROR: Unexpected bus error encoun
ze1336365763的博客
04-26 1877
在容器中，训练yolov5时，报如上问题。pytorch将共享内存的临时文件保存在了/torch_xxx文件中，即容器中的根目录下。容器磁盘空间不足导致该问题的发生。目前可以通过以下代码暂时关闭pytorch的shared memory功能来规避： 将此代码贴到你启动代码的最前面，顺利解决： import sys import torch from torch.utils.data import dataloader from torch.multiprocessing import reductio
【DEBUG】报错RuntimeError: Trying to resize storage that is not resizable和DataLoader worker (pid xxx) 解决
向上生长的程序媛的博客
10-24 7160
报错 RuntimeError in DataLoader worker process 0和DataLoader worker (pid xxx) is killed by signal: Killed.解决方案
python 使用多线程报错：AttributeError: Can't pickle local object
热门推荐
火云邪神的博客
09-18 1万+
报错信息： Traceback (most recent call last): File “D:/flaskProject/test.py”, line 35, in test pool.apply(self.out, args=(i,)) File “Python37-32\lib\multiprocessing\pool.py", line 261, in apply return self...
RuntimeError: unable to mmap 2048 bytes from file: Cannot allocate memory (12)
Drug discovery
05-19 2514
运行过程中出现错误： 我查看了内存的大小，发现内存并没有吃满，换了一个电脑设置max_map_count的较大的值，发现可以成功运行不出错，设置方式如下：# 查看当前值# 设置新的值这是对于自己的服务器来说，是可以通过上面的方式进行解决的，但是如果你使用的是租赁的服务器，就会出现错误：sysctl: setting key "vm.max_map_count", ignoring: Read-only file system此时，你并没有办法修改 max_map_count ，你只能使用分布式将程序放在多
python构造方法报错_解决python多线程报错:AttributeError: Can't pickle local object问题
weixin_39591455的博客
12-10 2019
报错信息：Traceback (most recent call last):File “D:/flaskProject/test.py”, line 35, in testpool.apply(self.out, args=(i,))File “Python37-32\lib\multiprocessing\pool.py", line 261, in applyreturn self.appl...
RuntimeError: unable to write to file
Tra_cy的博客
02-24 2360
参考链接：https://github.com/huaweicloud/dls-example/issues/26
pytorch 怎么看占用多少cpu内存推理
最新发布
07-04
<think>我们被要求监控PyTorch在CPU内存推理时的占用情况。用户想知道如何监控CPU内存占用，特别是在推理过程中。根据引用，我们之前讨论了GPU显存的监控（如使用nvidia-smi或torch.cuda.memory_allocated()），但CPU内存监控需要不同的工具。解决方案：1.使用Python内置模块：`resource`（Linux/macOS）或`psutil`（跨平台）来监控进程的内存使用。2.在推理代码的关键位置插入内存检查点，记录内存使用情况。由于`resource`模块在Windows上不可用，因此推荐使用跨平台的`psutil`库。步骤：1.安装`psutil`（如果尚未安装）：```bashpip installpsutil```2.在推理代码中，使用`psutil`来获取当前进程的内存信息。示例代码：```pythonimport psutilimport torch#获取当前进程process =psutil.Process() #在推理开始前获取内存使用mem_before= process.memory_info().rss/ (1024**2)#转换为MB#进行推理model.eval() withtorch.no_grad():#假设data_loader是数据加载器for inputsin data_loader:outputs =model(inputs)#在每次迭代后获取内存使用mem_during =process.memory_info().rss /(1024 **2)print(f"Memoryduringinference:{mem_during:.2f}MB")#推理结束后获取内存使用mem_after =process.memory_info().rss /(1024 **2) print(f"Memory beforeinference:{mem_before:.2f}MB")print(f"Memoryafter inference: {mem_after:.2f} MB") ```说明： -`rss`（Resident SetSize）表示进程使用的实际物理内存（包含共享库占用的内存）。 -单位转换：将字节转换为MB（除以1024的平方，即1024*1024）。注意：1.如果推理过程中内存持续增长，可能是因为中间结果没有释放，或者有全局列表等累积了数据。需要检查代码中是否有不必要的变量引用。2.在PyTorch中，即使使用CPU，也可能有内存管理问题，例如缓存分配器保留内存。可以使用`torch.cuda.empty_cache()`来清理GPU缓存，但CPU内存主要依靠Python的垃圾回收机制。另外，对于PyTorch的CPU内存，还可以使用`torch`自带的内存分析工具（如`torch.cuda`是用于GPU的，但CPU没有直接对应的函数）。因此，使用`psutil`是通用方法。引用[3]中提到在推理过程中将输出移动到CPU（这里原本是在GPU上，但我们现在关注CPU），但同样要注意在CPU上累积大量输出也会导致内存增加。因此，如果不需要保留所有输出，应避免将它们全部存储在列表中。优化建议：如果内存占用过高，可以考虑：1.及时删除不再需要的变量（使用`del`语句）。2.确保没有全局列表或字典在循环中不断增长。3.使用生成器或流式处理，避免一次性加载所有数据。完整示例（监控CPU内存）： ```pythonimport psutilimport torchfromyour_model importmodel#替换为你的模型from your_data_loader importdata_loader#替换为你的数据加载器process= psutil.Process()#记录初始内存initial_mem= process.memory_info().rss/ (1024**2)print(f"Initialmemory:{initial_mem:.2f}MB")#设置模型为评估模式model.eval()#禁用梯度计算with torch.no_grad():fori,batchin enumerate(data_loader):#执行推理outputs= model(batch)#每处理完一个批次，记录内存current_mem =process.memory_info().rss /(1024 **2)print(f"Batch{i}: Memoryused ={current_mem:.2f}MB")#如果不需要保留整个输出，可以只保留必要信息，然后删除输出#del outputs#或者如果你需要后续处理，但数据量很大，考虑分批写入文件等#最终内存final_mem =process.memory_info().rss /(1024 **2) print(f"Finalmemory:{final_mem:.2f}MB")```这样，我们就可以监控在推理过程中CPU内存的占用情况了。相关问题：1.如何监控PyTorch在GPU上的显存使用？2.在PyTorch推理过程中如何避免内存泄漏？3.有哪些工具可以分析Python程序的内存使用情况？</think>### PyTorch CPU 内存监控方法 在 PyTorch 推理过程中监控 CPU 内存占用，推荐使用以下方法： #### 1. 使用 `psutil` 库（跨平台） ```python import psutil import torch # 获取当前进程 process = psutil.Process() # 推理前内存 mem_before = process.memory_info().rss / (1024 ** 2) # MB单位 # 执行推理 with torch.no_grad(): outputs = model(inputs) # 推理中内存 mem_during = process.memory_info().rss / (1024 ** 2) # 推理后内存 mem_after = process.memory_info().rss / (1024 ** 2) print(f"内存变化: {mem_before:.2f}MB → {mem_during:.2f}MB → {mem_after:.2f}MB") ``` 关键指标： - **RSS (Resident Set Size)**：进程实际使用的物理内存 - **VMS (Virtual Memory Size)**：进程使用的虚拟内存总量 - 单位换算：`1 MB = 1024*1024 bytes` #### 2. 使用 `tracemalloc`（Python 内置） ```python import tracemalloc import torch tracemalloc.start() # 开始跟踪 # 记录初始内存 snapshot1 = tracemalloc.take_snapshot() # 执行推理 with torch.no_grad(): outputs = model(inputs) snapshot2 = tracemalloc.take_snapshot() # 推理中快照 # 计算内存差异 top_stats = snapshot2.compare_to(snapshot1, 'lineno') for stat in top_stats[:10]: # 显示前10个内存占用点 print(stat) ``` #### 3. 结合 PyTorch 的内存分析 ```python from torch.profiler import profile, record_function with profile(activities=[torch.profiler.ProfilerActivity.CPU]) as prof: with record_function("model_inference"): with torch.no_grad(): outputs = model(inputs) print(prof.key_averages().table(sort_by="cpu_memory_usage", row_limit=10)) ``` #### 内存优化建议 1. **及时释放资源**： ```python del outputs # 显式删除不再需要的张量 torch.cuda.empty_cache() # 清理GPU缓存(即使使用CPU)[^3] ``` 2. **控制数据加载**： ```python # 使用生成器避免一次性加载所有数据 for batch in data_loader: output = model(batch) process_output(output) del batch, output # 及时释放 ``` 3. **监控内存泄漏**： ```python # 周期性检查内存增长 for epoch in range(epochs): mem_start = process.memory_info().rss run_inference() mem_end = process.memory_info().rss assert mem_end - mem_start < 100 # 允许<100MB增长 ``` #### 完整监控示例 ```python import psutil import time import torch def monitor_memory(interval=0.5): """实时监控内存变化""" process = psutil.Process() print("时间戳\t内存(MB)\t变化(MB)") last_mem = process.memory_info().rss while True: current_mem = process.memory_info().rss print(f"{time.time():.1f}\t{current_mem/1e6:.2f}\t{+(current_mem-last_mem)/1e6:.2f}") last_mem = current_mem time.sleep(interval) # 在推理线程中启动监控 import threading threading.Thread(target=monitor_memory).start() # 执行推理 model.eval() with torch.no_grad(): outputs = model(inputs) ``` > **关键提示**：对于生产环境，建议使用 `memory_profiler` 包进行行级内存分析： > ```bash > pip install memory_profiler > mprof run --include-children python script.py > mprof plot > ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值