用tf.train.exponential_decay调节learning rate

最新推荐文章于 2022-04-18 23:00:24 发布

原创

最新推荐文章于 2022-04-18 23:00:24 发布 · 453 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #深度学习 #机器学习 #人工智能

在训练深度学习模型时遇到损失(loss)无法有效下降的问题，发现是学习率设置不当。原始论文中学习率为1e-3，而预训练模型使用的是1e-4。尝试使用tf.train.exponential_decay动态调整学习率，该函数根据全局步数(global_step)和衰减步数(decay_steps)按特定衰减率(decay_rate)递减学习率。原来设置的decay_steps可能导致学习率在需要调整时未及时变化。解决方案是根据每个epoch动态调整decay_steps，以更早地适应数据集的需求。

事情的起因是这样，训练了一个模型发现Loss一直下不去，看了loss曲线以为收敛了。结果在测试数据上一塌糊涂，再跑去训练集上跑测试，结果当然比测试的好，但是很明显看出来没有训练好，因为有太过的FP。
耐心的翻了一下原始paper，发现用的learningrate 不一样，原因是原始paper是没有用Pretrain模型，而自己用了vgg pretrain 模型。paper:learning rate = 1e-3.自己是learning rate = 1e-4
一开始觉得没有错呀，如果从随机开始训练是需要一个大一些的learning rate，如果只是finetune是需要一个小一些的learning rate，让模型更新的步子迈的小一些。看来这个不是问题的根本。然后看到自己写的那tf.train.exponential_decay。这个是一个调节Leaning rate的一个函数

learning_rate = tf.train.exponential_decay(FLAGS.learning_rate, global_step, decay_steps=50, decay_rate

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

馒头苦雪的包子

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

tf.compat.v1.train.exponential_decay用法

qq_36201400的博客

09-14

1405

tf.compat.v1.train.exponential_decay：将指数衰减应用于学习率。 tf.compat.v1.train.exponential_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None ) 训练模型时，通常建议随着训练的进行降低学习率。此函数将指数衰减函数应用于提供的初始学习率。它需要一个global_step值来计算衰减的学习率。您只需传递一个

图像分类超详细的pytorch实现

LJC的博客

08-21

9570

1、定义各种参数下面举例三种常见的参数 batch_size = 8 learning_rate = 1e-4 epoches = 100 2、利用官方的数据加载指定训练、验证以及测试的文件夹的路径，其下一个目录的各个文件夹视为各个类别。下一个目录为了方便简单可以直接命名为0、1、2等。到时就可以对应0、1、2等类别。也可以按本身类别作为文件名，可能需要调试注意一下对应的类别0、1、2等。如： 0、1、2文件夹里放置对应类别的图像即可。主要调用的是torchvision.dataset

参与评论您还未登录，请先登录后发表或查看评论

tensorflow使用可变学习率进行训练（tf.train.exponential_decay）

huqinwei的专栏

10-06

5228

tensorflow提供了接口，可以直接可变学习率，在训练过程中动态改变学习率。两种train_op，一种普通的固定学习率训练作为对比train_op，一种是可变学习率train_op2。接口参数：起始学习率；训练步数计数器：用来计算何时改变学习率，之所以不自动提供，而是让你手动传入变量，可能是为了你提取监控方便一些（就如我做的一样）；学习率改变步数阈值：就是每过多少步变一次学...

tf.train.exponential_decay()用法

lllxxq141592654的博客

11-15

1万+

tf.train.exponential_decay()官网链接 tf.train.exponential_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None ) 一句话描述：对学习率learning_rate应用指数衰减。多...

TensorFlow中tf.train.exponential_decay的用法

叶林的博客

12-06

1611

tf.train.exponential_decay的用法在Tensorflow中，为解决设定学习率(learning rate)问题，提供了指数衰减法来解决。通过tf.train.exponential_decay函数实现指数衰减学习率。步骤：1.首先使用较大学习率(目的：为快速得到一个比较优的解); 2.然后通过迭代逐步减小学习率

网络优化改进

weixin_30463341的博客

01-17

177

网络优化改进网络优化的方法有很多，在这里我们使用其中一种优化方式。在我们的模型训练时候，会有一个重要的因素需要设定，就是学习率。那么在手动设定学习率的时候不一定准确。这种人为的设定对于模型的输出影响较大。所以在这里引入了一种自动更新学习率的函数。指数衰减学习率exponential_decay class tf.train.exponential...

tf.train.exponential_decay函数(指数衰减法)

sophicchen的专栏

12-03

4003

训练神经网络模型时通常要设置学习率learning_rate，可以直接将其设置为一个常数（通常设置0.01左右），但是在训练刚开始时，用固定学习率会使参数的更新过程显得很僵硬，不能很好的符合训练的需要；到后期参数仅需要很小变化时，学习率的值还是原来的值，会造成无法收敛，甚至越来越差的情况，过大无法收敛，过小训练太慢。所以我们通常会采用指数衰减学习率来优化这个问题，可以通过tf.train.ex...

tf.train.exponential_decay（）的理解与实践

12-21

`tf.train.exponential_decay()` 函数的使用方法如下： ```python tf.train.exponential_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None ) ``` 1. `learning_rate`: ...

File "/home/yq/anaconda3/envs/patchfusion/lib/python3.8/site-packages/estimator/decays.py", line 3, in <module> exponential = tf.train.exponential_decay AttributeError: module 'tensorflow._api.v2.train' has no attribute 'exponential_decay' decays.py的代码内容如下：import tensorflow as tf exponential = tf.train.exponential_decay inverse_time = tf.train.inverse_time_decay natural_exp = tf.train.natural_exp_decay polynomial = tf.train.polynomial_decay cosine = tf.train.cosine_decay linear_cosine = tf.train.linear_cosine_decay noisy_linear_cosine = tf.train.noisy_linear_cosine_decay 请帮我解决这个报错

热门推荐

wuguangbin1230的博客

08-28

3万+

一在Tensorflow中，为解决设定学习率(learning rate)问题，提供了指数衰减法来解决。通过tf.train.exponential_decay函数实现指数衰减学习率。步骤：1.首先使用较大学习率(目的：为快速得到一个比较优的解); 2.然后通过迭代逐步减小学习率(目的：为使模型在训练后期更加稳定); 代码实现： [html]

学习率的理解和设置以及指数衰减法

Vici__

08-06

1万+

目录：一、什么是学习率（learning rate）二、学习率过小或过大的问题三、学习率的设置四、指数衰减法（exponential decay）一、什么是学习率（learning rate）：学习率是指导我们该如何通过损失函数的梯度调整网络权重的超参数，通过设置学习率控制参数更新的速度。我们在做神经网络时，参数权重是通过不断的训练得出的，那么这个参数每一...

学习率的理解

mxh3600的博客

04-18

1万+

定义：将输出误差反向传播给网络参数，以此来拟合样本的输出，本质上是最优化的一个过程，逐步趋向于最优解，但是每一次更新参数利用多少误差，就需要通过一个参数来确定，这个参数就是学习率，也称步长学习率作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到局部最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。学习率是指导我们，在梯度下降法中，如何使用损失函数的梯度调整网络权重的超参数 new_weight = old_weight - learnin

TensorFlow优化模型之学习率的设置

修炼之路

10-29

2万+

一、学习率使用TensorFlow训练一个模型时，我们需要通过优化函数来使得我们训练的模型损失值达到最小，常用的优化算法有随机梯度下降、批量梯度下降，而在使用优化算法的时候，我们都需要设置一个学习率（learning rate），而学习率的设置在训练模型的时候也是非常重要的，因为学习率控制了每次更新参数的幅度。如果学习率太大就会导致更新的幅度太大，就有可能会跨过损失值的极小值（不说最小值的原因

tf.train.exponential_decay() 指数衰减法

qq_26449287的博客

10-26

724

exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 使用方式为 tf.train.exponential_decay( ) 在 Tensorflow 中，exponential_decay()是应用于学习率的指数衰减函数（实现指数衰减学习率）。在训练模...

神经网络优化-----学习率（指数衰减学习率）

congcong7267的博客

07-31

2694

神经网络优化中，使用指数衰减学习率，可以在迭代初期得到较高的下降速度，可以在较小的训练轮数下获得更好的收敛度在 python 中可以用这行代码实现： learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,LEARNING_RATE_STEP,LEARNING_RATE_DECAY,staircas...

Pytorch(三)：参数学习率的调整

weixin_41297324的博客

08-21

7366

预备内容经过pytorch(一)：torch构建数据集并训练一个神经网络，构建了一个神经网络。其中网络的架构如下： Layer Layer (type) Output Shape 0 （input） [2, 1, 8, 8] 1 Conv2d [2, 4, 9, 9] 2 ReLU [2, 4, 9, 9] 3 MaxPool2d [4, 4, 4, 4] 4 Conv2d [4, 8, 5, 5] 5.