Pytorch DDP DistributedDataParallel load_state_dict checkpoint 加载断点 继续训练的正确打开方式

最新推荐文章于 2024-07-08 11:19:43 发布
最新推荐文章于 2024-07-08 11:19:43 发布
阅读量1.7k 收藏 5
点赞数 2
文章标签： pytorch 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40947610/article/details/124238832
版权

一、网上的一些博客是错误的，我按照他们的方法去改，结果不对，比如：

Pytorch采坑记录：DDP加载之前的checkpoint后loss上升（metric下降）
[原创][深度][PyTorch] DDP系列第二篇：实现原理与源代码解析

二、pytorch官网的说法也是让人摸不着头脑，官方说法，但是保存checkpoint 的做法是对的，直接在主进程共保存即可，这点不再赘述，但是加载断点文件到DDP中的说法不是很清楚。特别是map_location = {‘cuda:%d’ % 0: ‘cuda:%d’ % rank} 很容易让人误解。

三、正确的方法：

1、在你的Model（）类初始化和DistributedDataParallel（）类初始化中间加载断点：在每个进程运行到这里时都会从硬盘中读取文件到CPU，然后再到每一个显卡，两种方式都可。主要是设置map_location参数，否则会出现如官网描述的错误，主显卡显存略大，多出来几个进程等等。这都是不是正确的打开方式。。。

在这里插入图片描述

2、1为何要去掉module.？因为DistributedDataParallel之前的model的state_dict是单卡的，之后他就会加上module.，如果按下面的保存方式就需要在加载断点之前去掉。当然你也可以保存为单卡的state_dict：orch.save(model.module.state_dict(), pth) （可能不对，网上很多教程，自行查找）。另外如果你在DistributedDataParallel（）之后，开始第一个训练的epoch时加载模型参数，那么也不需要去掉module.

在这里插入图片描述

3、加载和保存优化器？这里我感觉很复杂，我没有使用保存优化器，我只是使用保存的断点做预训练和测试，所以不需要优化器断点训练。有懂的大佬可以留言！
4、DDP很难用，各种bug和小技巧，主要是文档写的不好，ε=(´ο｀*)))唉
5、请不要忘了看看国外网友的参考，写的都很好：

https://discuss.pytorch.org/t/what-is-the-proper-way-to-checkpoint-during-training-when-using-distributed-data-parallel-ddp-in-pytorch/139575

https://github.com/pytorch/pytorch/issues/23138

马圈圈马
关注
【Pytorch实战教程】Pytorch中model.load_state_dict()的详细介绍
若北辰
07-25 2871
该方法用于将预先保存的参数字典加载到模型中。这种方法非常灵活，适用于加载不同环境中的模型参数。是 PyTorch 中加载模型参数的标准方法。通过理解state_dict和strict参数的用法，可以灵活地在不同模型版本之间加载和迁移参数，提高模型的复用性和管理效率。
小知识点系列(十二) 本文(1.5万字) 解读state_dict，load_state_dict，load，save | state_dict，parameters，named_parameter
专注于人工智能学习，总结
12-30 1069
state_dict是Python的字典对象，可用于保存模型参数、超参数以及优化器（torch.optim）的状态信息。需要注意的是，只有具有可学习参数的层（如卷积层、线性层等）才有state_dict。# 定义模型return x# 初始化模型# 初始化优化器# 打印模型的状态字典# 打印优化器的状态字典让我们来运行一下以上代码：从以上代码及运行结果可知，state_dict将模型的每一层映射到一个参数张量。在Python中，可以对state_dict进行保存、加载、更新、修改等操作。
pytorch load state dict_Pytorch模型resume training，加载模型基础上继续训练
weixin_39531229的博客
11-27 692
Step1：首先查看源码train.py中如何保存模型的：checkpoint_dict 并查看源码中如何加载参数（参数名）：#print('----------model loading-------------------') step2：然后根据保存的模型的写法，自己写加载模型：start_epoch 其中“resume”和“checkbreakpoint”都是在parse参...
设计模式总结
每一个不曾起舞的日子，都是对人生的辜负。
06-22 614
Iterator模式
Pytorch使用DDP加载预训练权重时出现占用显存的多余进程
不屈不挠的拉普
09-16 2379
感谢知乎作者 https://www.zhihu.com/question/67209417/answer/866488638 在使用DDP进行单机多卡分布式训练时，出现了在加载预训练权重时显存不够的现象，但是相同的代码单机单卡运行并不会出现问题，后来发现是在多卡训练时，额外出现了3个进程同时占用了0卡的部分显存导致的，而这3个进程正是另外3张卡load进来的数据，默认这些数据被放在了0卡上。解决的方法是把load进来的数据放在cpu（也就是内存）里。 # 原来代码，load进的数据放在gpu里 # pre
[Notes] Pytorch中DDP(DistributedDataParallel)指定显卡/GPU运行的方式
江南蜡笔小新
11-16 4132
先看看哪些卡空闲/可用,使用CUDA_VISIBLE_DEVICES屏蔽掉不可用的卡 #自定义端口 CUDA_VISIBLE_DEVICES="1,2,4,7" python -m torch.distributed.launch --nproc_per_node 4 --master_
关于 model.load_state_dict 加载部分预训练参数
liyun52的博客
07-08 441
比如说，我们没有增删shufflenet的任何部分，只是修改了最后分类器的类别数，那么在对比的过程中，classifier是存在的，classifier部分的预训练参数（类别为1000）就会被加载，依然会报错size mismatch，因为我们将最后的类别数修改为7，和1000不匹配。之前一直使用迁移训练，现记录一下关于model.load_state_dict加载部分预训练参数的学习。我从网上看了很多使用下面的方法，对比自定义模型与预训练模型的键，剔除不同的部分，然后重新加载。
pytorch调用不了多个gpu_使用Pytorch在多GPU下保存和加载训练模型参数遇到的问题...
weixin_26824299的博客
12-24 431
最近使用Pytorch在学习一个深度学习项目，在模型保存和加载过程中遇到了问题，最终通过在网卡查找资料得已解决，故以此记之，以备忘却。首先，是在使用多GPU进行模型训练的过程中，在保存模型参数时，应该使用类似如下代码进行保存：torch.save({'epoch':epoch,'state_dict':model.module.state_dict(),'optimizer':optimiz...
pytorch加载模型报错Unexpected key(s) in state_dict: module.conv1.weight, module.bn1
Hello Word!
06-28 1万+
文章目录代码报错原因解决 代码 import models arch = 'resnet50' model = models.__dict__[arch]() checkpoint = torch.load(ckptFile) model.load_state_dict(checkpoint['state_dict']) model = torch.nn.DataParallel(model).cuda() 报错 Traceback (most recent call last
PyTorch训练（三）：DDP（DistributedDataParallel）【“单机多卡”、“多机多卡”分布式训练模式】【支持混合精度（fp16/fp32）】【只将数据并行，模型大于显卡则不行】
u013250861的博客
05-10 1726
一、概述 我们知道 PyTorch 本身对于单机多卡提供了两种实现方式 DataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。 DistributedDataParallel（DDP）：All-Reduce模式，本意是用来分布式训练，但是也可用于单机多卡。 DataParallel（DP）是基于Parameter server的算法，实现比较简单，只需在原单机单卡代码的基础上增加一行： gpu_ids = [0, 2, 3] mode.
深度学习如何恢复训练？中断的训练如何接着之前保存的 ckpt 参数继续训练？Pytorch-Lightning Trainer
weixin_44212848的博客
02-08 3441
加载 ckpt 模型参数继续训练
pytorch加载和保存模型
weixin_36670529的博客
05-13 1169
方法一(推荐)： 第一种方法也是官方推荐的方法，只保存和恢复模型中的参数。 保存 torch.save(the_model.state_dict(), PATH) 恢复 the_model = TheModelClass(*args, **kwargs) the_model.load_state_dict(torch.load(PATH)) 使用这种方法，我们需要自己导入模...
[PyTorch][PyTorch Lightning]：断点续训
Bin_Dut的博客
05-14 3204
日志：保存训练过程中的日志信息，包括损失、指标和训练时间等信息。对象的状态，包括当前的 epoch 和 batch 等信息。优化器状态：保存优化器的状态，包括当前的学习率和动量等信息。参数来控制是否保存模型的权重、最后一次保存的模型权重和。，则只会保存模型的权重，而不会保存其他信息。在需要从断点继续训练的时候，创建一个新的。参数来指定要继续训练的模型状态的路径。对象的状态以及其他信息。参数来指定要恢复训练的检查点路径。参数，以指示从该检查点处恢复训练。回调来保存模型的状态。模型权重：保存模型的权重参数。
捕获神经网络训练过程中的Checkpoints方法
weixin_52582300的博客
03-23 1256
有时候自己写的网络模型在训练时想看某个epoch的模型参数，或者想按照某一epoch的模型参数进行测试，就需要看log相关的checkpoints。
【pytorch载入模型参数报错以及解决办法,小心使用strict=False】
qq_44698655的博客
03-25 8482
pytorch载入模型参数报错，模型与权重文件keys不匹配问题以及解决办法，小心使用strict=False
使用DistributedDataParallel(DDP)时遇到额外进程导致GPU0显存不均衡的问题
weixin_43333043的博客
05-22 1379
可以看出，载入模型时，先被载入到cpu然后移动到对应设备，这里对应设备指的是GPU0，而通过指定参数map_location，可以使用对应设备进行载入。，查看显存占用，发现GPU0占用相较于其他GPU更高，并且每一个进程都在GPU上有占用，当显存较为紧张时，可能导致爆显存。然而，通过解决方法1，并未能解决我的问题。通过google，最终找到了解决该问题的方式。pytorch在load模型时，通过查看pytorch官方文档可以发现，方法，在未指定map_location时，
Pytorch并行分布式训练四 （DDP）
Dteam_f的博客
11-05 2706
Getting Started with Distributed Data Parallelhttps://pytorch.org/tutorials/intermediate/ddp_tutorial.html DDP是目前Pytorch推荐的多GPU训练方法，它支持单机多卡，多机多卡等情况。目前pytorch对DDP技术中进程的启动方式又分为launch脚本启动，和mp模启动。就目前而言，pytorch更推荐采用mp的方法，但launch的方法使用的也很广，所以下面一并做一些介绍。 1.Data..
pytorch模型的保存和加载、checkpoint
热门推荐
qq_38765642的博客
11-18 4万+
pytorch模型的保存和加载、checkpoint 其实之前笔者写代码的时候用到模型的保存和加载，需要用的时候就去度娘搜一下大致代码，现在有时间就来整理下整个pytorch模型的保存和加载，开始学习把~ pytorch的模型和参数是分开的，可以分别保存或加载模型和参数。所以pytorch的保存和加载对应存在两种方式： 1. 直接保存加载模型 （1）保存和加载整个模型 # 保存模型 torch.save(model, 'model.pth\pkl\pt') #一般形式torch.save(net, P
PyTorch DDP模式的使用
laizi_laizi的博客
03-29 1万+
PyTorch支持分布式训练，所以当你有多块卡时，肯定是想让你的代码能够使用multi-gpu进行training。 然后你会发现有两种选择摆在你面前： DP(torch.nn.DataParallel) 官方Tutorial 优点：修改的代码量最少，只要像这样model = nn.DataParallel(model)包裹一下你的模型就行了，想用的话可以看一下上面的官方Tutorial，非常简单 缺点：只适用single-machine multi-GPU(不过也已经适合大部分人使用了)，不适用mult
Pytorch加载模型
最新发布
03-14
<think>好的，用户问的是如何在PyTorch中加载模型，需要示例代码和最佳实践。首先，我需要回想PyTorch的模型保存和加载机制。记得有两种主要方式：保存整个模型和仅保存状态字典。保存整个模型可能更方便，但占用空间大，且不利于跨项目使用。状态字典更灵活，推荐的做法是保存状态字典，然后在加载时重新初始化模型结构，再加载参数。 接下来，用户可能需要示例代码。我应该分别展示两种保存方式对应的加载方法。比如，使用torch.save(model.state_dict(), 'model.pth')的话，加载时需要先创建模型实例，再用load_state_dict。而如果保存了整个模型，直接加载即可，但要注意模型类必须在当前作用域中定义过。 另外，用户可能关心设备的问题，比如加载到CPU或GPU。这时候需要解释map_location参数的使用，比如在加载时指定device，或者自动处理。比如从GPU保存的模型加载到CPU上，就需要调整。 还有可能涉及的是多GPU训练后的加载，这时候可能需要处理模型被包装在DataParallel或DistributedDataParallel中的情况。应该提到加载时要去掉module.前缀，或者使用strict=False参数来避免键不匹配的错误。 最佳实践部分，应该强调始终保存状态字典而非整个模型，确保模型结构在加载时可重建，处理设备映射，版本兼容性问题，以及加载后调用model.eval()进入推理模式。 可能还需要提到验证加载后的模型，比如检查参数是否正确，或者进行前向传播测试。另外，如果用户需要加载预训练模型并修改部分层，应该如何处理，比如忽略某些键或加载部分权重。 最后，用户可能需要了解常见的错误和解决方法，比如键不匹配、设备不匹配、版本不兼容等。这时候给出示例代码和解释，帮助他们避免这些问题。 总结下来，回答的结构应该是先介绍两种加载方法，给出代码示例，然后讨论设备处理，多GPU情况，最佳实践，常见问题处理，以及验证步骤。确保用户能够一步步按照指导操作，并理解背后的原理。</think>以下是关于如何在PyTorch中加载模型的详细说明，包含示例代码和最佳实践： --- ### 一、基础方法：加载模型 #### 1. 仅加载模型参数（推荐方式） ```python import torch import torch.nn as nn # 定义原始模型结构 class MyModel(nn.Module): def __init__(self): super().__init__() self.fc = nn.Linear(10, 2) def forward(self, x): return self.fc(x) # 实例化模型并加载参数 model = MyModel() model.load_state_dict(torch.load('model_weights.pth')) model.eval() # 设置为评估模式 ``` #### 2. 加载完整模型（需保留类定义） ```python model = torch.load('full_model.pth') model.eval() ``` --- ### 二、设备处理技巧 #### 1. GPU模型加载到CPU ```python model.load_state_dict(torch.load('gpu_model.pth', map_location=torch.device('cpu'))) ``` #### 2. 自动选择可用设备 ```python device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.load_state_dict(torch.load('model.pth', map_location=device)) ``` --- ### 三、多GPU训练模型的加载 处理由`DataParallel`包装的模型： ```python # 原始保存方式（包含module.前缀） torch.save(model.module.state_dict(), 'ddp_model.pth') # 加载时移除前缀 state_dict = torch.load('ddp_model.pth') new_state_dict = {k.replace('module.', ''): v for k,v in state_dict.items()} model.load_state_dict(new_state_dict) ``` --- ### 四、最佳实践 1. **参数验证**：加载后检查参数匹配性 ```python missing, unexpected = model.load_state_dict(torch.load('model.pth'), strict=False) print(f"Missing keys: {missing}\nUnexpected keys: {unexpected}") ``` 2. **版本控制**：同时保存模型元数据 ```python torch.save({ 'epoch': 200, 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), 'loss': loss, }, 'checkpoint.pth') ``` 3. **部分加载**：选择性加载参数（适用于迁移学习） ```python pretrained_dict = torch.load('pretrained.pth') model_dict = model.state_dict() pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict} model_dict.update(pretrained_dict) model.load_state_dict(model_dict) ``` --- ### 五、常见问题解决方案 1. **设备不匹配错误**：使用`map_location`参数指定目标设备 2. **类定义丢失**：确保模型类定义在加载前已存在 3. **参数维度不匹配**：使用`strict=False`加载兼容参数 4. **CUDA内存不足**：先加载到CPU再转移至GPU ```python model.load_state_dict(torch.load('large_model.pth', map_location='cpu')) model.to('cuda') ``` --- ### 六、验证加载结果 ```python # 验证前向传播 test_input = torch.randn(1, 10) with torch.no_grad(): output = model(test_input) print(output.shape) # 应输出 torch.Size([1, 2]) # 检查第一层权重 print(model.fc.weight[0][:3]) # 应与保存前的数值一致 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值