PyTorch翻译官网教程8-SAVE AND LOAD THE MODEL

本文介绍了如何在PyTorch中保存和加载模型的权重,通过`state_dict`方法持久化模型学习到的参数,并展示了加载模型时需先实例化模型并调用`load_state_dict()`。此外,还提及了保存整个模型结构与权重的方法,以及加载时对模型状态的调整,如设置为评估模式。

官网链接

Save and Load the Model — PyTorch Tutorials 2.0.1+cu117 documentation

保存和加载模型

在本节中,我们将了解如何通过保存、加载和运行模型预测来持久化模型状态。

import torch
import torchvision.models as models

保存和加载模型权重

PyTorch模型将学习到的参数存储在一个名为state_dict的内部状态字典中。这些可以通过torch.save 方法持久化

model = models.vgg16(weights='IMAGENET1K_V1')
torch.save(model.state_dict(), 'model_weights.pth')

输出

Downloading: "https://download.pytorch.org/models/vgg16-397923af.pth" to /var/lib/jenkins/.cache/torch/hub/checkpoints/vgg16-397923af.pth

  0%|          | 0.00/528M [00:00<?, ?B/s]
  5%|4         | 23.9M/528M [00:00<00:02, 250MB/s]
 10%|9         | 50.7M/528M [00:00<00:01, 268MB/s]
 16%|#6        | 85.5M/528M [00:00<00:01, 313MB/s]
 22%|##2       | 118M/528M [00:00<00:01, 322MB/s]
 28%|##8       | 148M/528M [00:00<00:01, 304MB/s]
 34%|###3      | 178M/528M [00:00<00:01, 292MB/s]
 39%|###8      | 206M/528M [00:00<00:01, 285MB/s]
 44%|####4     | 233M/528M [00:00<00:01, 267MB/s]
 49%|####8     | 258M/528M [00:00<00:01, 267MB/s]
 54%|#####3    | 284M/528M [00:01<00:00, 269MB/s]
 59%|#####8    | 310M/528M [00:01<00:00, 269MB/s]
 64%|######3   | 336M/528M [00:01<00:00, 270MB/s]
 69%|######8   | 362M/528M [00:01<00:00, 269MB/s]
 74%|#######3  | 388M/528M [00:01<00:00, 270MB/s]
 78%|#######8  | 414M/528M [00:01<00:00, 270MB/s]
 83%|########3 | 440M/528M [00:01<00:00, 270MB/s]
 88%|########8 | 465M/528M [00:01<00:00, 270MB/s]
 93%|#########3| 491M/528M [00:01<00:00, 270MB/s]
 98%|#########8| 517M/528M [00:01<00:00, 271MB/s]
100%|##########| 528M/528M [00:02<00:00, 276MB/s]

要加载模型权重,需要首先创建同一模型的实例,然后使用load_state_dict() 方法加载参数。

model = models.vgg16() # we do not specify ``weights``, i.e. create untrained model
model.load_state_dict(torch.load('model_weights.pth'))
model.eval()

输出

VGG(
  (features): Sequential(
    (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (1): ReLU(inplace=True)
    (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (3): ReLU(inplace=True)
    (4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (6): ReLU(inplace=True)
    (7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (8): ReLU(inplace=True)
    (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (11): ReLU(inplace=True)
    (12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (13): ReLU(inplace=True)
    (14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (15): ReLU(inplace=True)
    (16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (18): ReLU(inplace=True)
    (19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (20): ReLU(inplace=True)
    (21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (22): ReLU(inplace=True)
    (23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (25): ReLU(inplace=True)
    (26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (27): ReLU(inplace=True)
    (28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (29): ReLU(inplace=True)
    (30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  )
  (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
  (classifier): Sequential(
    (0): Linear(in_features=25088, out_features=4096, bias=True)
    (1): ReLU(inplace=True)
    (2): Dropout(p=0.5, inplace=False)
    (3): Linear(in_features=4096, out_features=4096, bias=True)
    (4): ReLU(inplace=True)
    (5): Dropout(p=0.5, inplace=False)
    (6): Linear(in_features=4096, out_features=1000, bias=True)
  )
)

注意

一定要在推理之前调用model.eval() 方法,将dropout层 和normalization 层设置成evaluation模式。如果不这样做,将产生不一致的推理结果。

保存和加载模型与形状

当加载模型权重时,我们需要首先实例化模型类,因为类定义了网络的结构。我们可能希望将该类的结构与模型一起保存,在这种情况下,我们可以使用model(而不是model.state_dict())方法保存:

torch.save(model, 'model.pth')

然后我们可以像这样加载模型:

model = torch.load('model.pth')

注意

这种方法在序列化模型时使用Python pickle模块,因此它依赖于 加载模型时可用的实际类定义。

相关教程

Saving and Loading a General Checkpoint in PyTorch


 


 

### 三级标题:PyTorch 中 torch.load 和 torch.save 的使用以避免递归错误 在 PyTorch 中,`torch.save()` 和 `torch.load()` 是用于序列化和反序列化模型或张量的核心工具。然而,在某些情况下,如果使用不当,可能会导致递归错误(RecursionError)或其他异常行为。 #### 正确使用 torch.save 和 torch.load `torch.save()` 可以用于保存任意 Python 对象,包括模型、优化器状态以及自定义类实例。例如: ```python import torch import torch.nn as nn class Module(nn.Module): def __init__(self): super(Module, self).__init__() self._one = 1 model = Module() torch.save(model, 'module.pth') ``` 随后可以通过 `torch.load()` 加载该对象: ```python loaded_model = torch.load('module.pth') ``` 需要注意的是,在保存自定义类时,加载过程中必须能够重新构造该类的定义,否则会引发异常[^1]。 #### 避免递归错误的方法 当使用 `torch.save()` 或 `torch.load()` 时,若对象结构复杂或包含循环引用,可能会触发递归错误。为避免这种情况,应确保以下几点: - **避免深度嵌套的对象结构**:尽量简化模型或数据结构,减少嵌套层级。 - **使用 state_dict 进行模型保存**:推荐仅保存模型的 `state_dict` 而不是整个模型对象,这有助于降低复杂性并提高兼容性: ```python torch.save(model.state_dict(), 'model_state.pth') ``` 加载时只需先构建模型结构,再加载状态字典: ```python model = Module() model.load_state_dict(torch.load('model_state.pth')) ``` - **控制默认递归深度**:虽然 Python 默认的递归深度限制较高,但在极端情况下仍可能被突破。可以通过设置 `sys.setrecursionlimit()` 来临时增加限制,但这不是推荐做法,而应优先优化数据结构[^3]。 #### 注意事项与最佳实践 - 在分布式训练或多设备环境下,保存和加载模型时需特别注意设备映射问题。建议通过 `device_map` 参数指定设备,并根据实际硬件选择合适的精度类型(如 `torch.float16` 或 `torch.float32`)[^2]。 - 确保保存和加载环境中的 PyTorch 版本一致,以避免因 API 变更导致的问题。 - 若涉及跨平台迁移(如从 GPU 到 CPU),应在加载时明确指定设备类型,防止因设备不匹配引发异常。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值