(12)加载预训练模型之后loss先飙升后下降

最新推荐文章于 2025-06-05 08:00:00 发布
最新推荐文章于 2025-06-05 08:00:00 发布
阅读量2.2k 收藏 2
点赞数 1
分类专栏： python编程/PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40227656/article/details/119684040
版权

参考：PyTorch模型加载与保存的最佳实践

 在训练yolov4时，加载预训练权重冻结主干参数训练50个epochs，然后解冻训练就出现了这种情况，使用的VOC2007+2012数据集。但是后来训练mobilenet-yolov4时，加载主干网络权重没有出现这种情况？

深度学习 loss下降后上升在下降_解读“深度学习最新进展(2020)” Part 5
weixin_39854681的博客
12-06 1229
5. Science of Deep Learning and Interesting Directions第五部分，介绍的是深度学习理论研究方面的新进展和有趣的方向。首先是一篇MIT的ICLR 2019 Best Paper《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。The Lottery ...
深度学习 loss下降后上升在下降_Day203:学习率的设定
weixin_39519072的博客
12-04 1387
1、学习率目前深度学习使用的都是非常简单的一阶收敛算法，梯度下降法，不管有多少自适应的优化算法，本质上都是对梯度下降法的各种变形，所以，初始学习率对深层网络的收敛起着决定性的作用，下面就是梯度下降法的公式：α 就是学习率，如果学习率太小，会导致网络loss下降非常慢，如果学习率太大，那么参数更新的幅度就非常大，就会导致网络收敛到局部最优点，或不会收敛或者loss直接开始增加；如下图所示：学习率的选...
神经网络训练曲线分析：loss与val_loss 先上升后下降
m0_67549907的博客
09-06 1018
其原因是：带momentum的方法训练，可看作在参数值和momentum组成的二元组上，每步乘一个矩阵，然后加一个噪音。不发散，要求这个矩阵的特征值范数小于1.但是，可能有复特征值和复特征向量。所以，虽然系数在衰减，但复的部分可能被变换到实的部分来，就出现初期loss上升的情况，直到模最大的系数被衰减到1以下。综上，初期loss上升，不一定发散，是正常的。在不带momentum的情况下，一般不应该出现这种情况。如图，对于val_loss和train_loss在训练初期出现上升，而后逐渐下降的情况是。
2019.12.14
我的AI笔记
12-14 300
一、tensorflow 1.结果的可视化 莫烦大佬的代码如下： from __future__ import print_function import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def add_layer(inputs, in_size, out_size, activation...
深度学习过程中测试准确率先上升后下降是为什么？
qq_51570094的博客
09-11 1万+
在初始训练阶段，模型逐渐开始学习到一些信息，因而在验证集上的表现是提升的，在到达某一点后，模型接着训练则会更加的去关注一些细枝末节的东西，即模型表达更加多。1.早停，既然模型在某一点时达到最优，那么就设置模型在最优点附近停止训练。在整个训练过程中，虽然说模型出现了过拟合，但是其在训练集上的损失还是趋于平稳的，并不会说因为过拟合而导致损失波动。在训练过程中的验证准确率前上升，后下降，即在验证集上的表现先好后差。3.改变数据，使数据更加复杂，多变，适应模型，也能取得不错的效果。2.为模型增加惩罚项，即正则化。
MATLAB卷积神经网络进阶指南：微调预训练模型，性能飙升
[MATLAB卷积神经网络进阶指南：微调预训练模型，性能飙升](https://pic1.zhimg.com/v2-6a3d91e3e30d9663207c6576a4146fc1_720w.jpg?source=172ae18b) # 1. 卷积神经网络简介 卷积神经网络（CNN）是一种深度学习模型...
【模型选择】：选对模型，水体提取准确率飙升的秘诀
[【模型选择】：选对模型，水体提取准确率飙升的秘诀](https://img-blog.csdnimg.cn/img_convert/a83d49e9422e84a7843644ab9a56e5aa.png) # 摘要 本文系统地介绍了模型选择的基本概念、理论基础、实践方法、特定...
【AI大模型】4、工业级的大模型系统强在哪？
最新发布
RickyIT的专栏
06-05 1202
工业级大模型系统的核心挑战在于开源工具与工业化需求间的显著差距，主要体现在三个方面：架构设计缺陷（如单节点系统无法应对万级QPS）、向量检索瓶颈（大规模数据管理困难）和商业可用性问题（领域适配成本高）。理论层面，工业级系统需要融合符号主义、连接主义和行为主义等算法流派，并通过分布式训练基础设施（如DGX SuperPod）实现高效模型训练。实践上，需构建数据驱动的业务建模方法论，结合强化学习微调（RLHF）和混合专家模型（MoE）等先进技术，最终建立支持实时推荐、智能质检等多场景的在线服务体系。
【大模型实操 | LoRA、QLoRA微调大模型实战技巧分享，含常见QA解答！】
lhx17673139267的博客
07-04 1313
由于GPU内存的限制，在训练过程中更新整个模型权重成本很高。例如，假设有一个7B参数的语言模型，用一个权重矩阵W表示。在反向传播期间，模型需要学习一个ΔW矩阵，旨在更新原始权重，让损失函数值最小。权重更新如下：如果权重矩阵包含7B个参数，则权重更新矩阵也包含7B个参数，计算矩阵非常耗费计算和内存。如上所示，的分解意味着我们需要用两个较小的LoRA矩阵A和B来表示较大的矩阵。如果A的行数与相同，B的列数与相同，可以将以上的分解记为。（AB是矩阵A和B之间的矩阵乘法结果。这种方法节省了多少内存呢？
Maxent模型优化终极指南：参数调优与性能飙升策略
[Maxent模型优化终极指南：参数调优与性能飙升策略](http://biodiversityinformatics.amnh.org/open_source/maxent/ban.jpg) 参考资源链接：[基于最大熵算法的物种分布模型MaxEnt使用指南]...
训练网络出现loss突然上升或者直接NaN......
热门推荐
jiachen0212的博客
02-02 2万+
粗略写一下： 解决方式，把初始化方式换掉。。。我们之前用的切断正态分布，，现在考虑下： http://blog.youkuaiyun.com/shuzfan/article/details/51338178 经验说： 1.一般我们都会用优秀的modelzoo参数初始化我们的参数，可能是这个参数值过大的问题。 2.不恰当的loss函数。 待续......
yolov5载入训练过的模型之后，loss会飙升的解决方法。
weixin_44588455的博客
03-20 1545
在train.py中,将代码修改如下情况即可（采用了余弦退火，同时承接了上次one_cycle的学习率最小值），便于继续训练。每次重新运行代码之后，学习率会重置，导致学习率过高从而开始升高损失。yolov5的学习率下降模型，是one_cycle.采用其他的学习率方法，如余弦退火，线性降低等。学习率又会有一次升高回落的过程。
深度学习 loss下降后上升在下降_性能变化像过山车，深度学习模型为何总是经历二次下降？...
weixin_39631689的博客
12-06 3215
在近日发表的一篇论文中，来自哈弗大学的研究者证明了在CNN、ResNet和transformer中会出现double descent(二次下降)现象:随着模型增大、数据增多或训练时间延长，模型性能先提高，接着会变差，继而再次提高。通常通过正则化来避免这种结果。虽然这种行为似乎相当普遍，但研究者仍未完全理解为什么会发生这种情况，因此认为对此现象的进一步研究很重要。研究显示，当不提前停止或不使用正则化...
机器学习/深度学习入门：训练中的问题
M_Z_G_Y的博客
07-12 2312
1.损失函数后面的epoch中出现剧烈的抖动,如下图所示，说明你的学习率在此时比较高，需要进行学习率的衰减。 2.损失函数在刚开的时候抖动，并且随着epoch的增加损失函数保持在一定的范围内，说明你的学习率比较大。 3.损失函数减少的比较缓慢，说明你的学习率比较小。 有关学习率的影响具体如下文的连接所示： http://baijiahao.baidu.com/s?id=15915312...
【模型训练】loss和accuracy变化的调整方向
shuaixio的博客
05-19 3919
模型训练过程中，训练集和验证集或测试集的loss和accurancy不同的变化，可能是什么原因，以及如何调整等
train loss与test loss结果分析
大黄的博客
12-01 3928
在我们进行神经网络的超参数调优时，需要分析参数设置的是否合理以及网络结构是否设置的合适。对于train loss与test loss，进行分析，可以得出以下结果，一般有以下几种情况： 1.train loss 不断下降，test loss不断下降，说明网络仍在学习; 2.train loss 不断下降，test loss趋于不变或者上升，说明网络过拟合; 3.train loss 趋于不变，test loss不断下降，说明数据集异常; 4.train loss 趋于不变，test loss趋于
深度学习 loss下降后上升在下降_深度学习的一些技巧 - hejunlin
weixin_39575737的博客
12-04 1万+
　　如上图，深度学习有3个基本的步骤：1) 定义函数，即选择建立神经网络2) 建立一个标准，判断第一步得到的函数或者网络好不好，相当于损失函数，误差越小，则该函数或网络越好3) 选择误差最小的那个函数或网络　　将我们之前选择的模型或网络用在训练集上，如果误差大，则说明模型不好，需要重新选择或者训练模型；如果该模型在训练集上误差小，那么就在测试集上计算误差，如果测试集上误差也很小，则说明这个模型很好...
深度学习 loss下降后上升在下降_深度学习中的双下降现象
weixin_39856709的博客
12-06 2123
编辑：zero关注 搜罗最好玩的计算机视觉论文和应用，AI算法与图像处理 微信公众号，获得第一手计算机视觉相关信息本文转载自：公众号：AI公园作者：Preetum Nakkiran，Gal Kaplun，Yamini Bansal，Tristan Yang，Boaz Barak，Ilya Sutskever编译：ronghuaiyang导读深度学习中的双下降现象，可能大家也遇到过，但是没有深究，O...
深度学习模型训练快收敛时loss值突然暴增现象
qq_48873240的博客
01-06 7464
自己深度学习模型训练快收敛时loss值突然暴增，我就记录下来了各个参数数值和梯度，并绘制了曲线图，供大家参考
torchvision如何加载预训练模型并进行微调？
12-16
`torchvision`是一个PyTorch库，它包含了常用的计算机视觉数据集和图像处理工具。在使用`torchvision`加载预训练模型并进行微调时，通常需要经过以下几个步骤： 1. **导入所需模块**： 首先，你需要导入`torchvision.models`，这将提供预训练的模型，以及`torch.nn.Module`用于创建和管理模型。 ```python import torch from torchvision import models ``` 2. **选择预训练模型**： 根据你的任务需求，从`models`模块中选择一个预训练模型，比如对于图像分类任务，你可以选择`resnet18`, `alexnet`, 或者`densenet161`等。 ```python model = models.resnet18(pretrained=True) ``` 这里的`pretrained=True`表示模型已经被预训练在ImageNet上。 3. **冻结部分层**： 微调通常发生在模型的最后几层，前几层（如卷积层）已经学习了通用特征。可以设置这些层为不可训练状态，防止其权重改变影响基础特征。 ```python for param in model.parameters(): param.requires_grad = False # 只对特定层（例如最后一个全连接层fc）进行微调 for param in model.fc.parameters(): param.requires_grad = True ``` 4. **准备数据和损失函数**： 调整数据加载器和适当的损失函数，比如交叉熵loss。 5. **开始微调**： 将模型放入一个训练循环中，使用优化器更新微调层的权重。 ```python optimizer = torch.optim.SGD(model.fc.parameters(), lr=0.001) # 使用SGD或其他优化器 criterion = nn.CrossEntropyLoss() # 训练过程 for epoch in range(num_epochs): for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值