Resnet-18-训练实验-warm up操作

最新推荐文章于 2025-03-26 10:48:13 发布
最新推荐文章于 2025-03-26 10:48:13 发布
阅读量2.7w 收藏 28
点赞数 10
分类专栏： deep-learning 文章标签： Resnet Resnet-18
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011995719/article/details/77884728
版权

实验数据：cat-dog 二分类，训练集：19871 验证集：3975
实验模型：resnet-18
batchsize：128*2 （一个K80吃128张图片）

存在的问题： 对训练集 accuracy可达0.99 loss=1e-2 -3，然而验证集 accuracy 0.5，loss 很高，试了多个初始学习率（0.1 — 0.0001）都不行

解决上述问题： 采取warm up方法 ，对上述问题有点帮助

训练resnet，由于不finetune，很容易过拟合，paper《Deep Residual Learning for Image Recognition》中对cifar10的实验用了一个trick是 warm up（热身），就是先采用小的学习率（0.01）进行训练，训练了400iterations之后将学习率调整至0.1开始正式训练。

一开始不以为然，我分别用了四个初始学习率 lr=0.1; 0.01; 0.001; 0.0001; 然后每1000个iterations就降低一次lr。然而这四种初始学习率都试过之后，发现，验证集的accuracy怎么都上不去，都是0.5~0.6之间，而训练集的可以到0.99。而resnet采用了batch normalization,在caffe中，batch normalization 就有一个“坑”，就是use_global_stats 的设置问题。training时候是关闭，testing的时候是要打开，deploy也是要打开的。
对于训练集accuracy达0.99，验证集accuracy是0.5+的情况，我以为是batch normalization出问题，于是乎各种捣鼓BN去了，最后试了一下warm up，网络在验证集的loss才有所下降。

来看看warm up 的loss，分别采用 0.01 0.001 0.001 0.0001，gamma=10 ；stepsize在图中已经隔断
lr=0.01；step=1000

lr=0.001；step=500

lr=0.001；step=10000

lr=0.001；step=1000

【RT-DETR有效改进】手把手带你调参RT-DETR，1：1复现官方版本实验环境
Snu77的博客
01-29 6754
本文是带大家进行调参，利用ultralytics仓库1：1复现RT-DETR官方实验环境，从而在后期发表论文 的时候省去一些不必要的麻烦，例如被审稿人提出质疑，本文的调参内容均有依据，根据RT-DETR官方Github上发布的版本进行设置本文的调参以ResNet18为例，其余的何其的调参基本一致。RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR。
手把手教程：RT-DETR如何训练自己的数据集 | NEU-DET钢材缺陷检测
会AI的学姐
11-08 1万+
本文内容：1）RT-DETR原理介绍；2）RT-DETR如何训练自己的数据集
【有啥问啥】机器学习&深度学习中的Warmup技术是什么？
Chauvin的博客
08-12 1480
Warmup技术是一种有效的学习率调整策略，特别是在训练机器学习&深度学习模型时。它通过在训练初期使用较小的学习率，并逐步增加到目标学习率，帮助模型稳定地过渡到稳定的训练阶段。Warmup技术可以与其他学习率调整策略结合使用，以实现最佳的训练效果。在实际应用中，warmup被广泛用于大规模模型训练、微调以及分布式训练等场景。
深度学习 warmup 策略
anshiquanshu的专栏
08-24 6388
一、介绍 warmup顾名思义就是热身，在刚刚开始训练时以很小的学习率进行训练，使得网络熟悉数据，随着训练的进行学习率慢慢变大，到了一定程度，以设置的初始学习率进行训练，接着过了一些inter后，学习率再慢慢变小；学习率变化：上升——平稳——下降； 具体步骤： 启用warm up，设置warm up setp（一般等于epoch*inter_per_epoch），当step小于warm up setp时，学习率等于基础学习率×(当前step/warmup_step)，由于后者...
经典神经网络论文解读（五）—— ResNet（残差网络）
weixin_40375105的博客
03-26 1498
ResNet在《》论文中提出，是在CVPR 2016发表的一种影响深远的网络模型，何凯明团队提出来，在ImageNet的分类比赛上将网络深度直接提高到了152层，前一年夺冠的VGG只有19层。ImageNet的目标检测以碾压的优势成功夺得了当年识别和目标检测的冠军，COCO数据集的目标检测和图像分割比赛上同样碾压夺冠，可以说ResNet的出现对深度神经网络来说具有重大的历史意义。随着卷积神经网络的发展和普及，我们了解到增加神经网络的层数可以提高模型的训练精度和泛化能力。
深度学习基础 【调优方法】——warmup
qq_64693987的博客
09-24 877
定义：warmup是指在训练开始时使用较小的学习率，经过一段时间（如若干个epoch或steps）逐渐增加学习率，直到达到预设的学习率。这种策略可以帮助模型在初期避免大幅度的参数更新。
深度学习训练策略--学习率预热Warmup
ytusdc的博客
08-24 5481
背景 学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。 其实在我们的大多数情况下，遇到 loss 变成 NaN 的情况大多数是由于学习率选择不当引起的。 一、Warmup的最初提出? Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些steps（15000steps，见最后代码1）或者epoches(5epoches，见最后代码2)，再修改为预先设置的学习来进行训练。 代码查看：https://bl
深度学习训练策略-学习率预热Warmup
豆芽菜
04-05 1万+
一、什么是Warmup? Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些steps（15000steps，见代码1）或者epoches(5epoches，见代码2),再修改为预先设置的学习来进行训练。例如： 二、为什么使用Warmup? 由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大...
Inception系列：Inception-v1（GooLeNet）、Inception-v2、Inception-v3、Inception-v4论文全面解读
jsk_learner的博客
11-01 3397
Inception系列PaperInception-v1-2014Inception-v2-2015Inception-v3-2015 Paper v1: Going deeper with convolutions v2: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covaria...
ResNet18果蔬图像识别分类
10-20 1463
数据处理的精细化调整：在数据集的处理方面，项目通过自定义数据预处理脚本（如和），进一步优化了图像的输入。在中，项目统计了训练集图像的每个通道的均值和标准差，用于后续数据归一化操作，这种归一化能显著提高模型的收敛速度和预测精度。这种针对特定领域图像（果蔬图像）的数据标准化处理，为模型提供了更具鲁棒性的输入数据。自定义学习率调度和LARS优化器：项目在训练策略上使用了自定义学习率衰减策略和LARS优化器（在lars.py和中实现）。
Inception-v4，Inception-ResNet and the Impact of Residual Connections on Learning
chenaxin的博客
10-24 426
论文链接：https://arxiv.org/pdf/1602.07261.pdf https://arxiv.org/pdf/1602.07261v1.pdf 摘要 近些年，超深度卷积网络成为图像识别领域的核心算法。其中，Inception结构在图像分类中表现优秀，并且计算代价很低。最近，残差与更加传统的结构相结合，在ILSVRC挑战中获得Start-of-art的结果（与Inception-v3）的分类精度差不多。那么，是不是结合残差连接与Inception结构能够产生更好的结果。因此，我们给出了充足的
pytorch学习（十）——过拟合相关问题及解决方案
11-10
上传时间：2020/11/10 最后测试：2020/11/10 内容：pytroch解决过拟合相关问题及解决方案 其他：pytorch学习练习代码 相关介绍：https://blog.youkuaiyun.com/jerry_liufeng/article/details/109608811
【深度学习】深度学习基础-Warm_up训练策略
chen1234520nnn的博客
09-07 7090
背景 学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。 其实在我们的大多数情况下，遇到 loss 变成 NaN 的情况大多数是由于学习率选择不当引起的。 warmup介绍 warmup可以称为训练热身。由于神经网络在刚开始训练的时候是非常不稳定的，因此刚开始的学习率应当设置得很低很低，这样可以保证网络能够具有良好的收敛性。但是较低的学习率会使得训练过程变得非常缓慢，因此这里会采用以较低学习率逐渐增大至较高学习率的方式实现网络训练的“热身...
[神经网络]2.1-How the backpropagation algorithm works-Warm up: a fast matrix-based approach ...（翻译）
让勤奋成为习惯
02-27 1176
在上一章中，我们看到神经网络通过随机梯度下降法可以学习权重和偏差。然而，之前我们没有解释过如何计算花费函数的梯度计算方法，这是个空白！在本章，我将会阐述一个计算这个梯度的快速算法，称为反向传播（backpropagation）算法。 反向传播算法最初在20世纪70年代提出，但是直到1986年， David Rumelhart, Geoffrey Hinton, and Ronald Williams
NLP之路-warm up
Xia Qiaolin - 优快云
09-28 1157
今天做了一些小的尝试，算作技术铺垫
模型调优：warm_up【针对学习率优化的一种方式：在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps之后再修改为预先设置的学习率来进行训练】
u013250861的博客
01-01 1万+
Warmup是针对学习率优化的一种方式，Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches,再修改为预先设置的学习率来进行训练。
【Tricks】半监督深度学习训练和实现小Tricks
zenRRan的博客
04-21 683
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要8分钟跟随小博主，每天进步一丢丢来自 |知乎 作者 |糯米稻谷地址 | https://zhuanlan.zhihu.com/...
解析基于Pytorch的残差神经网络（ResNet18模型），并使用数据集CIFAR10来进行预测与训练
小邹的博客
04-20 2765
残差神经网络其实是与卷积神经网络分不开的，我们知道卷积神经网络可以由很多个卷积层，激活层，池化层组成，多少个都没问题，但是随着层数增加，需要训练一轮的计算量也增加，这也不是最接受不了的，最无奈的是，随着层数增加，网络会呈现负优化，下面详解原因。​ 我们知道，卷积核作用是提取特征、训练卷积神经网络就是优化卷积核以减小预测值与真实值的差距，即：损失值。
PyTorch项目笔记（三）使用ImageNet预训练ResNet18模型训练图像分类模型
热门推荐
a1016249126的博客
03-19 1万+
本文介绍了如何在ImageNet预训练模型ResNet18的基础上微调训练自己的图像分类模型
warm up训练
最新发布
04-03
### Warm Up 训练的概念与方法 Warm Up 是一种用于提升模型训练稳定性和效果的技术，尤其适用于大规模深度学习模型的训练。其核心思想是在训练初期使用较低的学习率，随着训练进程逐步增加至目标学习率。这种方法可以有效缓解因参数随机初始化而导致的梯度过大问题，从而提高训练稳定性。 #### 温暖启动的核心原理 在 mini-batch 梯度下降过程中，较大的 batch size 往往需要较高的学习率来加速收敛。然而，在训练初期，由于模型参数尚未经过充分调整，过高的学习率可能导致训练过程不稳定甚至发散[^4]。因此，通过引入 Warm Up 技术，在最初的若干步或 epoch 中采用较小的学习率，并逐渐将其增大到预定值，能够显著改善这一情况。 #### 实现方式 以下是两种常见的 Warm Up 实现策略： 1. **固定时间间隔后的切换** 此方法规定了一个固定的训练阶段（如前 10 epochs 或 10,000 steps），在此期间保持低学习率；随后切换回正常设定的学习率继续完成剩余部分的训练流程[^2]。例如 ResNet 的实验表明，在 cifar-10 数据集上的应用中，先以 0.01 的学习率运行约 400 iterations 直至达到一定条件后再转而运用更高的 0.1 学习率进行后续操作[^3]。 2. **渐进式升温 (Gradual Warmup)** 不同于简单的两段划分法，“gradual warmup”则采取更为平滑的方式过渡：从极小初始值开始按线性或其他函数形式连续上调直至标准水平为止。这种方式不仅有助于进一步增强系统的鲁棒性，而且对于超大网络结构尤为适用因为它们可能更加敏感于早期更新幅度的变化。 #### Python代码示例 下面展示如何基于 PyTorch 构建一个带有 Gradual Warmup 功能的学习率调度器: ```python import torch.optim.lr_scheduler as lr_scheduler class GradualWarmupScheduler(lr_scheduler._LRScheduler): """ Gradually warm-up(increasing) learning rate in optimizer. Proposed in 'Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour'. """ def __init__(self, optimizer, multiplier, total_epoch, after_scheduler=None): self.multiplier = multiplier if self.multiplier < 1.: raise ValueError('multiplier should be greater thant or equal to 1.') self.total_epoch = total_epoch self.after_scheduler = after_scheduler super().__init__(optimizer) def get_lr(self): if self.last_epoch > self.total_epoch: if self.after_scheduler: if not self.finished: self.after_scheduler.base_lrs = [base_lr * self.multiplier for base_lr in self.base_lrs] self.finished = True return self.after_scheduler.get_last_lr() return [base_lr * self.multiplier for base_lr in self.base_lrs] return [base_lr * ((self.multiplier - 1.) / self.total_epoch * self.last_epoch + 1.) for base_lr in self.base_lrs] def step_ReduceLROnPlateau(self, metrics, epoch=None): if epoch is None: epoch = self.last_epoch + 1 self.last_epoch = epoch if epoch != 0 else 1 if self.last_epoch <= self.total_epoch: warmup_factor = (self.multiplier - 1.) / self.total_epoch * self.last_epoch + 1. for param_group, lr in zip(self.optimizer.param_groups ,self.base_lrs): param_group['lr'] = lr * warmup_factor else: if epoch == self.total_epoch + 1 and self.after_scheduler: self.after_scheduler.step(metrics, None) else: if self.after_scheduler: self.after_scheduler.step(metrics, None) else: pass def main(): model = ... # your model here optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=1e-4) scheduler_steplr = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) scheduler_warmup = GradualWarmupScheduler(optimizer, multiplier=8, total_epoch=5, after_scheduler=scheduler_steplr) for epoch in range(100): # 假设总共有100个epochs train(...) validate(...) scheduler_warmup.step() if __name__ == '__main__': main() ``` 上述脚本定义了一类新的调度程序 `GradualWarmupScheduler` ，它可以在指定数量的 Epochs 内执行温和上升的操作，之后可链接其他类型的 LR 调整机制共同作用。 ---
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值