出现错误：Error occurred while saving models: [enforce fail at inline_container.cc:325]

最新推荐文章于 2024-08-05 16:04:40 发布
原创 最新推荐文章于 2024-08-05 16:04:40 发布 · 538 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

我在跑代码时出现Error occurred while saving models: [enforce fail at inline_container.cc:325]

起因：我在保存模型文件时是突然出现一个错误，torch.save(xxx),无法进行文件保存

原因：内存不足，因为我在此之前保存了太多的模型文件

解决方法：删除一些模型文件或其他文件，然后就可以继续运行代码

ERROR conda.core.link:_execute(502): error occurred while installing conda-forge::setuptools 解决方案
weixin_43178406的博客
01-31 8万+
本文主要介绍了ERROR conda.core.link:_execute(502): An error occurred while installing package mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge::setuptools-65.5.1-pyhd8ed1ab_0.FileNotFoundError(2, 系统找不到指定的文件。, None, 2) 解决方案，希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案
python使用requests+代理proxy报错:EOF occurred in violation of protocol (_ssl.c:1124)
wanlitengfei的专栏
12-15 1645
python使用requests+代理proxy报错:EOF occurred in violation of protocol (_ssl.c:1124)
An error occurred while saving the entity changes. See the inner exception for details.
weixin_48246845的博客
09-15 6222
An error occurred while saving the entity changes
RuntimeError: [enforce fail at inline_container.cc:145] . PytorchStreamReader failed reading zip arc
无敌摸鱼高手的博客
02-19 1328
RuntimeError: [enforce fail at inline_container.cc:145] . PytorchStreamReader failed reading zip arc 有效解决办法
保存多部分消息期间出错 Error during saving a multipart message
jjj2585032l的博客
04-22 849
遇到xalan.jar缺失,添加后报错,如下: com.sun.xml.internal.messaging.saaj.soap.MessageImpl.saveChanges SAAJ0540: 保存多部分消息期间出错 com.ebay.sdk.SdkException: ApiCall.execute() - com.sun.xml.internal.messaging.saaj.SOAPE...
RuntimeError: [enforce fail at inline_container.cc:222] . file not found: archive/constants.pkl
恋try的专栏
08-05 616
在用C#调用pytorch模型时，报错，网上也有人报错，但几乎没有给出好的解决方案。
enforce fail at inline_container.cc:222
blueblood7的专栏
04-14 4094
执行 torch.load 时出现错误： “RuntimeError: [enforce fail at inline_container.cc:222] . file not found: archive/data/94479765723472” 或者 “RuntimeError: [enforce fail at inline_container.cc:145] . PytorchStreamReader failed reading file data/94100453134480: inval
【错误解决】RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:72] data. DefaultCPUAllocator: not
热门推荐
学习带来的快乐最持久~
08-10 4万+
内存不足
【解决Anaconda安装报错】ERROR conda.core.link:_execute(740): An error occurred while installing package ‘def
qq_45378106的博客
11-29 6925
这个问题没有解决，只是安装了22年的版本，具体来说是十月份的，然后就没有报错了。
kettle连接hive报错 org.pentaho.di.core.exception.KettleDatabaseException:Error occurred while trying....
登峰造极胡子球手
04-30 1万+
错误连接数据库 [hive1] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class org.apache.hive.jdbc.HiveDriv...
runtimeerror: [enforce fail at inline_container.cc:120] . archive does not contain any files
pp2373886592的博客
08-22 429
原因：代码中使用了python调用matlab相关库，pytorch使用load加载模型前，先运行了命令。先torch.load(xxx)，再运行。导致了一些未知的bug。
RuntimeError: [enforce fail at inline_container.cc:145] 【报错总结】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
07-03 1万+
磁盘空间不足，导致训练过程中正在生成的模型保存失败,从而resume训练时，加载报错；可以解决我们训练中断（断电、磁盘空间不足）的问题，resume 训练即可；代码逻辑中要有 resume 训练的判断
enforce fail at inline_container.cc:145
qq_38365929的博客
11-01 673
出现这个原因大概率是你预训练权重出了问题，没下载完整 1.把它删了，重新下载 2.自己下载完再加到文件夹checkpoints里， 权重所在位置：/home/sys1/.cache/torch/hub/checkpoints
[Pytorch]DistributedDataParallel(DDP)报错 [enforce fail at inline_container.cc:145]和[222]
江南蜡笔小新
10-31 1889
最近的并行化工作中,报错RuntimeError: [enforce fail at inline_container.cc:222]和 [enforce fail at inline_container.cc:145]. 经查,主要原因如下: 1. 随机种子未统一: 根据手册,模型参数的seed只看主卡即可,按道理来说是会boradcast的. 但事实上,就是如此,推测是因为使用了一个非stable的新函数. 统一了随机数种子之后解决问题. 2. 重复保存 低级错误,改动代码之后忘记作rank的
[enforce fail at inline_container.cc:145] . PytorchStreamReader failed reading zip archive: failed f
jaffe的博客
02-18 1万+
weights = 'yolov5s.pt' ckpt = torch.load(weights, map_location=device) 加载权重文件遇到的报错 原因 pt文件传输过程中，没有传输完整 重新上传或者下载pt文件
RuntimeError: CLAMP: [enforce fail at inline_container.cc:208] . file not found: archive/constants.p
yuandeyixinren11的博客
01-08 679
但是一直报错，可能是我环境中用的torch和torchvision与RN50.py用的版本不一样。需要加载CLIP预训练模型 RN50.pt。ok，解决了，虽然继续报新的bug…
Unity3D 编译生成安卓包时报：Error while saving blame file, build will continue
CrazyApp的博客
12-24 688
在接入最新的googleads的SDK后，生成安卓包报了一个乱码错误： Error: Error while saving blame file, build will continue Error: 涓庡厓绱犵被鍨娺”uses-sdk” 鐩稿叧鑱旂殑灞炴?”tools:overrideLibrary” 鐨勫墠缂 “tools” 鏈?粦瀹氥佁 这个错误应该是某个第三方插件用了too...
如何解决Error while saving file: Unable to open database file问题
羊城迷鹿的博客
07-07 3038
前几天一直在很正常地跑jupyter notebook，今天却突然出了点小状况，新建文件的时候报了的错误。一般来说，这种突然出现的问题跟磁盘空间不足有关，于是我用查看了磁盘空间，很奇怪的是空间完全够用。于是我把jupyter notebook重启之后又登陆一遍，依然是这个问题。但有一点很奇怪，那就是我新建txt或者文件夹完全没问题，但就是不能新建python文件。jupyter下新建python调用的是ipython命令，于是我在命令行下使用ipython命令，果然出现了类似的报错，只不过更加详细：。我打开
magento|生成catalog URL Rewrites报错:An error occurred while saving the URL rewrite
lolgigeo的博客
03-08 1224
今天给一个客户的站重建索引，先用php indexer.php --reindexall，结果发现生成分类索引的时候提示报错，如下图： 具体信息是：An error occurred while saving the URL rewrite，经过研究发现解决办法如下： 1、通过服务器或者远程登录进入数据库，然后use 对应的数据库，命令是 #mysql -uroot -p，#use lon...
Traceback (most recent call last): File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/serialization.py", line 441, in save _save(obj, opened_zipfile, pickle_module, pickle_protocol) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/serialization.py", line 668, in _save zip_file.write_record(name, storage.data_ptr(), num_bytes) RuntimeError: [enforce fail at inline_container.cc:471] . PytorchStreamWriter failed writing file data/198: file write failed During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/lab306/ln/faster-rcnn-pytorch-master/train.py", line 451, in <module> fit_one_epoch(model, train_util, loss_history, eval_callback, optimizer, epoch, epoch_step, epoch_step_val, gen, gen_val, UnFreeze_Epoch, Cuda, fp16, scaler, save_period, save_dir) File "/home/lab306/ln/faster-rcnn-pytorch-master/utils/utils_fit.py", line 70, in fit_one_epoch torch.save(model.state_dict(), os.path.join(save_dir, 'ep%03d-loss%.3f-val_loss%.3f.pth' % (epoch + 1, total_loss / epoch_step, val_loss / epoch_step_val))) File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/serialization.py", line 442, in save return File "/home/lab306/anaconda3/envs/faster-rcnn-pytorch-master/lib/python3.8/site-packages/torch/serialization.py", line 291, in __exit__ self.file_like.write_end_of_file() RuntimeError: [enforce fail at inline_container.cc:337] . unexpected pos 16806272 vs 16806168
最新发布
05-15
<think>好的，用户遇到了PyTorch保存模型时的RuntimeError，具体错误是'PytorchStreamWriter failed writing file data'，还提到了inline_container.cc异常。我需要先分析可能的原因，然后给出解决方法。 首先，可能的存储空间不足。保存模型需要足够的磁盘空间，所以用户应该检查目标路径的可用空间。如果空间不足，清理或更换路径即可。 其次，文件权限问题。如果用户没有写入权限，会导致保存失败。需要确认保存路径是否有写入权限，特别是系统目录可能需要管理员权限，建议换到用户有权限的目录。 第三，模型过大导致内存不足。保存大模型时，如果内存不够，也会报错。可以尝试先将模型移到CPU，释放GPU内存，或者使用torch.save的pickle协议版本，比如protocol=4，支持大文件。 第四，路径格式问题。在Windows上，路径中的反斜杠可能需要转义或使用原始字符串。建议使用os.path.join处理路径，避免格式错误。 第五，PyTorch版本问题。旧版本可能存在保存模型的bug，升级到最新版本可能解决。可以用pip或conda更新。 第六，序列化问题。如果模型包含不可序列化的对象，比如打开的文件句柄，需要确保所有组件都可序列化。自定义类应实现__getstate__和__setstate__方法。 接下来，处理步骤应该分步说明，并给出示例代码，比如使用CPU保存，修改协议，处理路径等。同时要提醒用户检查空间和权限，升级PyTorch版本，以及检查自定义组件。 相关问题部分需要围绕模型保存、错误处理、优化方法等展开，帮助用户深入理解可能的问题和解决方案。</think>### PyTorch模型保存错误分析与解决方法 出现`RuntimeError: 'PytorchStreamWriter failed writing file data'`错误通常由以下原因导致，按优先级排序解决： 1. **存储空间不足** - 检查保存路径磁盘剩余空间：`df -h`（Linux/Mac）或查看文件资源管理器（Windows） - 若使用云环境（如Colab），注意临时存储空间限制 - 示例代码更换保存路径： ```python import os save_path = os.path.expanduser("~/Documents/model.pth") # 更换为有效路径 ``` 2. **文件权限问题** - 检查路径写入权限： ```python import os print(os.access("./models", os.W_OK)) # 返回True表示可写 ``` - 建议创建专用目录并赋权： ```python os.makedirs("./saved_models", exist_ok=True) ``` 3. **模型过大导致内存不足** - 强制释放GPU内存后再保存： ```python model.cpu() # 将模型转移到CPU torch.cuda.empty_cache() # 清空GPU缓存 torch.save(model.state_dict(), "model.pth") ``` 4. **路径格式问题（Windows特别注意）** - 使用原始字符串处理路径： ```python path = r"C:\Users\YourName\models\model.pth" # 注意开头的r ``` 5. **PyTorch版本问题** - 升级PyTorch版本： ```bash pip install torch --upgrade ``` - 或指定协议版本保存： ```python torch.save(model, "model.pth", _use_new_zipfile_serialization=True) ``` 6. **自定义对象的序列化问题** - 确保自定义层/类可序列化： ```python class CustomLayer(nn.Module): def __init__(self): super().__init__() # 避免在这里初始化非张量成员 def __getstate__(self): # 自定义序列化方法 return self.__dict__ def __setstate__(self, d): # 自定义反序列化方法 self.__dict__.update(d) ``` **完整解决方案示例**： ```python def safe_save(model, path): # 检查路径可用性 if not os.path.exists(os.path.dirname(path)): os.makedirs(os.path.dirname(path)) # 转移模型到CPU并清理缓存 device = next(model.parameters()).device model.cpu() if device.type == 'cuda': torch.cuda.empty_cache() # 使用最新保存协议 torch.save(model.state_dict(), path, _use_new_zipfile_serialization=True) # 恢复设备状态（可选） model.to(device) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

虫本初阳

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值