pytorch模型保存与加载（保存最优参数）

原创 已于 2023-01-08 23:35:45 修改 · 4k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

于 2023-01-04 23:42:41 首次发布
文章介绍了提升模型精度的方法，包括数据增强、学习率衰减、dropout防止过拟合、正则化和BN层的应用，以及迁移学习和微调。在训练过程中，通过保存每个epoch的state_dict，当测试精度最高时记录并保存这些参数。之后详细展示了如何在PyTorch中保存和加载最优模型状态。

提升模型精度

  • 数据增强(也就是pytorch里面的图像预处理)
  • 学习率衰减
  • 更好的优化方法（Adam\lookhead）
  • dropout（防止过拟合）正则化
  • BN层（是数据分布相同）
  • 迁移学习+微调
  • +增加数据集
    以上几种方法 往往能够提升模型精度

在训练数据集时，怎么保存预测精度最高的参数（第几个epoch对应的精度）

保存模型（字典形式的保存）

state_dict就是一个简单的Python字典，它将模型中的可训练参数（比如weights和biases，batchnorm的running_mean、torch.optim参数等）通过将模型每层与层的参数张量之间一一映射，实现保存、更新、变化和再存储。

在这里插入图片描述

  • 恢复模型前，需要先把模型的网络结果写出来

完整模型的保存与加载

在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
pytorch模型的保存与加载
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-28 1万+
PyTorch提供了三种种方式来保存和加载模型，在这三种方式中，加载模型的代码和保存模型的代码必须相匹配，才能保证模型的加载成功。通常情况下，使用第一种方式（保存和加载模型状态字典）更加常见，因为它更轻量且不依赖于特定的模型类。
pytorch学习（十一）checkpoint
hero_heart的博客
07-20 665
当训练一个大模型数据的时候，中途断电就可以造成已经训练几天或者几个小时的工作白做了，再此训练的时候需要从epoch=0开始训练，因此中间要不断保存（epoch，net，optimizer，scheduler）等几个内容，这样才能在发生意外之后快速恢复工作。min_loss_val 定义成全局的变量之后，应该在用到的函数中，使用global min_loss_val再次定义，否则会报错误。通过本博客的学习，你将学会最优模型保存和模型自动加载的方法。
Pytorch——保存训练好的模型参数
01-20
文章目录1.前言2.torch.save(保存模型)3.torch.load整个网络4.torch.load网络参数（只提取参数）5.调用三个函数 1.前言 训练好了一个模型, 我们当然想要保存它, 留到下次要用的时候直接提取直接用，下面我将来讲如何存储训练好的模型参数 2.torch.save(保存模型) 首先，先搭建一个神经网络 import torch from torch import nn import matplotlib.pyplot as plt torch.manual_seed(11) # 使每次得到的随机数是固定的。但是如果不加上torch.manual_seed这
pytorch保留最好的模型
weixin_40425652的博客
07-20 302
函数,python相关学习资料：https://edu.51cto.com/video/2092.htmlhttps://edu.51cto.com/video/1158.htmlhttps://edu.51cto.com/video/4102.html保留最好的PyTorch模型 作为一名刚入行的开发者，你可能会对...
使用pytorch保存效果最好那个模型+加载模型
qq_40671063的博客
07-26 1万+
使用pytorch保存效果最好那个模型+加载模型
PyTorch模型保存与加载陷阱：为何恢复后性能下降？
cda2024的博客
10-24 1146
在深度学习项目中，我们常常需要将训练好的模型参数保存下来，以便后续继续训练或进行模型部署。然而，在使用PyTorch框架过程中，不少开发者反映遇到一个令人困惑的现象：在完成一定轮次的训练后，通过方法保存模型状态字典（state_dict），随后重新加载并继续训练时，却发现模型的表现反而不如之前。这背后到底隐藏着怎样的原因？我们又该如何解决这一问题呢？
【模型保存与加载、保存最优参数、保存和恢复检查点checkpoint】
m0_46256255的博客
09-22 2341
【代码】【模型保存与加载、保存最优参数、保存和恢复检查点checkpoint】
使用 PyTorch 实现 IMDb 数据集文本分类，含 DataLoader 与最优模型保存
最新发布
08-19
在训练过程中，我们通常希望保存下当前最优的模型参数，以便之后可以直接加载该模型，或者在模型训练中断后能够接着之前的进度继续训练。在PyTorch中，可以使用torch.save方法保存模型的参数（state dict），使用...
Pytorch文本分类（imdb数据集），包括DataLoader数据加载、最优模型保存、Pytorch imdb分类.zip
09-30
Pytorch文本分类（imdb数据集），包括DataLoader数据加载、最优模型保存、Pytorch imdb分类
【机器学习】如何在训练过程中挑选比较好的模型保存(pytorch)
Everyday try to become better -Kobe Bryant
07-20 3734
先设置大的epoch，跑完一遍，绘制每个epoch的训练集和测试集的损失折线图，然后根据测试集的损失，选一个中间的epoch即可，测试集的损失，一定程度上反映了模型的预测性能根据1的结果，在训练结束后保存（常用）每个epoch保存一个模型，根据打印的最好的结果选。根据测试集（验证集）合的实验结果保存模型（可以是精度达到多少，可以是loss降低到多少，可以是记录两次损失之差，小于某个值就break）......
基于pytorch的保存和加载模型参数的方法
09-18
今天小编就为大家分享一篇基于pytorch的保存和加载模型参数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 保留验证集上最好的模型
颹蕭蕭
12-20 6230
使用 deepcopy 保留验证集上最好的模型用于测试
PyTorch模型的保存与加载
qq_52852138的博客
03-07 4220
模型的保存与加载 首先，需要导入两个包 import torch import torchvision.models as models 保存和加载模型参数 PyTorch模型将学习到的参数存储在一个内部状态字典中，叫做state_dict。这可以通过torch.save方法来实现。 我们导入预训练好的VGG16模型，并将其保存。我们将state_dict字典保存在model_weights.pth文件中。 model = models.vgg16(pretrained=True) torch.save(
pytorch学习系列（9）：只保存精度最高的模型
热门推荐
weixin_41786536的博客
11-29 1万+
只保存精度最高的模型
【深度学习】详解如何保存训练好的最优模型
AI_dataloads的博客
10-10 5235
他的读取model方式为： 详细如何读取可以看我的这篇博客： 他的读取model方式为： 详细如何读取模型可以看我的这篇博客：
Pytorch模型 保存&加载
绿色羽毛
06-29 1万+
keras中常使用 .h5 文件保存模型。而 Pytorch 保存数据的格式为.t7文件 或者 .pt文件 或者 .pkl格式 .t7格式 是沿用 torch7 中读取模型权重的方式 .pt格式 是Pytorch官方示例推荐使用的格式
【MindSpore】实现保存最优模型
qingshuibaifen的博客
11-29 1349
1. 功能描述： MindSpore训练模型时，实现保存最优模型。 2. 实现保存最优模型功能简介： 在面对复杂网络时，往往需要进行几十甚至几百次的epoch训练。在训练之前，很难掌握在训练到第几个epoch时，模型的精度能达到满足要求的程度，所以经常会采用一边训练的同时，在相隔固定epoch的位置对模型进行精度验证，并保存相应的模型，等训练完毕后，通过查看对应模型精度的变化就能迅速地挑选出相对最优的模型。 流程如下： 1) 定义回调函数EvalCallBack，实现同步进行训练和验证。 2) 定义训练网络
pytorch 保存模型
Lucy_wzw的博客
11-28 1180
在 PyTorch 中，保存和加载模型通常使用torch.save和torch.load。
Pytorch模型参数的保存和加载
云隐雾匿的博客
03-10 2318
Pytorch模型参数的保存和加载
pytorch保存最优训练模型
07-27
要保存PyTorch中的最优训练模型，您可以使用以下步骤： 1. 在训练过程中，使用变量来追踪最佳的验证损失或准确率指标。例如，您可以创建一个变量来保存最小的验证损失值： ```python best_loss = float('inf') ``` 2. 在每个训练周期结束时，检查当前的验证损失或准确率，并更新最佳模型的状态。如果当前损失更低，保存模型的状态。 ```python if val_loss < best_loss: best_loss = val_loss torch.save(model.state_dict(), 'best_model.pth') ``` 3. 使用`torch.save()`函数将模型的状态保存到磁盘上的.pth文件中。您可以选择在每个训练周期结束时保存模型，或者根据自己的需求选择保存模型的频率。 4. 当需要加载最优模型时，使用`torch.load()`函数从磁盘加载.pth文件，并将其加载到模型中。 ```python model.load_state_dict(torch.load('best_model.pth')) ``` 请注意，这种方法只保存了模型的参数状态。如果您还想保存其他内容（如优化器状态、训练历史等），可以将这些信息保存到字典中，然后再保存到.pth文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值