如何保存重载pytorch的训练

问题:模型已经训练了很多次了,怎么把他中断掉之后再接着训练。
用了下面的代码,加了一下pre_train,去掉了reset,结果是loss函数是接着降下来的。但是曲线图都是从1开始,原来的被覆盖掉了,不知道应该怎么改一改。

CUDA_VISIBLE_DEVICES=1 python main.py --template MDSR --model MDSR --scale 2+3+4 --n_resblocks 80 --pre_train /home/zhj/EDSR-1.0.0/experiment/MDSR/model/model_latest.pt --save MDSR  --save_models

问题:加了reset和不加有什么区别?
reset就是把相关的训练的东西全删了。
在这里插入图片描述
问题:
但是有时候模型及数据太多,难以一次性训练完的时候,而且用的还是 Adam优化器的时候, 一定要保存好训练的优化器参数以及epoch
转载自https://blog.youkuaiyun.com/qq_24502469/article/details/104639824
保存模型
保存模型仅仅是为了测试的时候,只需要

torch.save(model.state_dict, path)

path 为保存的路径

但是有时候模型及数据太多,难以一次性训练完的时候,而且用的还是 Adam优化器的时候, 一定要保存好训练的优化器参数以及epoch

state = { 'model': model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch': epoch }   
torch.save(state, path)

因为这里

def adjust_learning_rate(optimizer, epoch):
    lr_t = lr
    lr_t = lr_t * (0.3 ** (epoch // 2))
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr_t

学习率是根据epoch变化的, 如果不保存epoch的话,基本上每次都从epoch为0开始训练,这样学习率就相当于不变了!!

恢复模型
恢复模型只用于测试的时候,

model.load_state_dict(torch.load(path))

path为之前存储模型时的路径

但是如果是用于继续训练的话,

checkpoint = torch.load(path)
model.load_state_dict(checkpoint['model'])
optimizer.load_state_dict(checkpoint['optimizer'])
start_epoch = checkpoint['epoch']+1

依次恢复出模型 优化器参数以及epoch。
明天再尝试一下怎么恢复模型。

你猜怎么招,师兄说只需要加上load就可以了。。。。不用写reset 不用写resume
我的天啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
python main.py --load /home/zhj/model
就是放pt文件的那里.

### PyTorch教程与入门指南 PyTorch 是一种功能强大的开源机器学习框架,广泛应用于深度学习领域。以下是关于 PyTorch 的一些核心概念及其入门方法。 #### 一、官方资源与社区支持 对于初学者而言,可以从官方文档和社区教程入手。PyTorch 官方提供了详细的入门资料[^1],其中包括《Deep Learning with PyTorch: A 60 Minute Blitz》这一快速上手教程。该教程涵盖了张量操作、自动微分以及如何构建简单的神经网络模型等内容。此外,还有来自第三方创作者的高质量内容,例如莫烦 Python 提供的一系列视频教程,这些材料能够帮助理解理论并实践代码。 #### 二、环境搭建与基本导入 为了开始使用 PyTorch 进行开发工作,通常需要创建一个新的 Python 文件,并引入必要的模块。比如,在记录实验数据时可利用 TensorBoard 工具来可视化训练过程中的变化情况。具体实现方式如下所示: ```python from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter('runs/experiment_name') ``` 上述代码片段展示了如何初始化一个 `SummaryWriter` 对象以便后续写入日志信息到指定目录下[^2]。 #### 三、自动求导机制 PyTorch 中最显著的特点之一就是其动态图计算模式下的自动求导能力。当变量被赋予属性 `requires_grad=True` 后,则每次对其进行运算都会追踪历史记录从而允许反向传播算法执行梯度下降优化步骤。下面是一个简单例子说明了这一点: ```python import torch x = torch.ones(2, 2, requires_grad=True) y = x + 2 z = y * y * 3 out = z.mean() out.backward() print(x.grad) ``` 这里我们定义了一个二维张量 `x` 并设置了它的梯度跟踪标志为真;接着经过一系列算术变换得到最终输出值 `out` 。调用 `.backward()` 方法之后就可以获取输入参数相对于目标函数损失的变化率即所谓的“梯度”,并通过打印语句展示出来[^3]。 #### 四、构建神经网络 除了基础的数据处理外,实际应用更多集中在设计复杂的深层架构上面。这一步骤涉及继承自 `nn.Module` 类的新类声明,重载前馈逻辑的方法以及其他辅助组件配置等方面的工作。由于篇幅所限无法详尽描述整个流程,但可以肯定的是掌握前面提到的基础知识点将是迈向高级特性的坚实步伐。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值