pytorch保存模型的两种方法


前言

模型的本质是一堆用某种结构存储起来的参数
用数据对模型进行训练后得到了比较理想的模型,就需要将其存储起来,然后在需要用到的时候加载一下直接使用。
保存的时候有两种方式:
一种方式是直接将整个模型保存下来,之后直接加载整个模型,但这样会比较耗内存,但内存吗嘛,不是什么大问题,我遇到的模型一般不超过100M。这都是很大的了;
另一种是只保存模型的参数,之后用到的时候再创建一个同样结构的新模型,然后把所保存的参数导入新模型。(也可以,也挺方便的)


一、保存整个模型

#保存
torch.save(the_model, PATH)
#读取
model = torch.load(PATH)

读取时不需要先定义model,比如:model=resnet50()。直接加载赋值就行。


二、只保存参数

保存参数:

torch.save(model.state_dict(),path)

读取模型:

# 测试所保存的模型
m_state_dict = torch.load('rnn.pt')
new_m = LSTM(input_size=1, hidden_size=10, num_layers=2).to(device)
new_m.load_state_dict(m_state_dict)

1、加载参数
2、实例化模型
3、将参数赋予模型
也可以在定义模型后直接

new_m.load_state_dict(torch.load('rnn.pt'))

模型不同后缀名的区别

经常会看到后缀名为.pt, .pth, .pkl的pytorch模型文件,其实它们并不是在格式上有区别,只是后缀不同而已(仅此而已)。
在pytorch官方的文档/代码里,有用.pt的,也有用.pth的。一般惯例是使用.pth,但是官方文档里貌似.pt更多,而且官方也不是很在意固定用一种。


总结

持续更新

### 如何在 PyTorch保存模型 为了保存训练好的 PyTorch 模型,通常有两种方法:一种是保存整个模型对象;另一种则是只保存模型的状态字典(state dictionary)。这两种方式各有优劣。 #### 方法一:保存完整的模型对象 通过 `torch.save` 函数可以直接序列化并存储整个模型实例到磁盘文件中。这种方式简单直观,适合快速存档或迁移学习场景下的应用[^2]。 ```python import torch model = ... # 定义好待保存的神经网络结构 torch.save(model, 'path_to_saved_model/model.pt') ``` 这种方法的优点在于恢复时只需加载即可立即投入使用,无需重新构建相同的类定义。然而缺点也很明显——它依赖于特定版本的 Python 和 PyTorch 库环境,并且可能因为这些外部因素而难以兼容不同平台上的部署需求。 #### 方法二:仅保存状态字典 更推荐的做法是单独提取出模型参数部分作为独立的数据包来处理。这不仅减少了不必要的冗余信息量,还提高了跨版本间的稳定性以及灵活性[^1]。 ```python # 只保存模型权重而不是完整架构 torch.save(model.state_dict(), 'path_to_saved_weights/weights.pth') # 加载已有的预训练权重至新创建相同配置的对象上 new_model = TheModelClass(*args, **kwargs) new_model.load_state_dict(torch.load('path_to_saved_weights/weights.pth')) new_model.eval() ``` 上述代码片段展示了如何利用 `.state_dict()` 接口获取当前模型内部各层可训练变量的具体数值表示形式,并将其持久化为 .pth 文件格式以便后续读取操作。当需要再次激活该模型执行推理任务前,则应先调用对应的构造函数初始化一个新的同构实体再填充回之前记录下来的权值集合,最后记得切换评估模式以关闭 dropout 等随机机制影响预测效果。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Brandy_Whisky

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值