【TensorFlow】TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法）

最新推荐文章于 2024-01-09 17:02:36 发布
原创 最新推荐文章于 2024-01-09 17:02:36 发布 · 置顶 · 1k 阅读 · 5 ·
CC 4.0 BY-SA版权
在公众号【计算机视觉联盟】后台回复【9076】获取独家200页AI笔记！
文章标签：

#TensorFlow实战Google深度学习框架 #人工智能 #TensorFlow

本文是《TensorFlow从浅入深》系列之第1篇

【TensorFlow】TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法）

在训练神经网络时，需要设置学习率（learning rate）控制参数更新的速度 。学习率决定了参数每次更新的幅度 。如果幅度过大，
那么可能导致参数在极优值的两侧来回移动。如优化J\left ( x\right )=x^{2} 函数，在优化中使用的学习率为1，则整个优化过程表4-1所示：

从表格可以看出，无论进行多少轮法代，参数将在 5 和，5 之间摇摆，而不会收敛到一个极小值 。
相反，当学习率过小时，虽然能保证收敛性，但是这会大大降低优化速度 。我们会需要更多轮的法代才能达到一个比较理想的优化效果 。

所以学习率既不能过大，也不能过小 。为了解决设定学习率的问题， TensorFlow提供了 一种更加灵活的学习率设置方法一一指数衰减法。

tf.train.exponential_decay函数实现了指数衰减学习率。通过这个函数，可以先使用较大的学习率来快速得到一个比较优的

最低0.47元/天 解锁文章

200万优质内容无限畅学
6.Tensorflow 学习率设置
qq_19645269的博客
02-23 2271
6.1 学习率设置的重要性 在使用梯度下降进行最小化 f(x)f(x)f(x), 初始值为xix_ixi​, 则xi+1x_{i+1}xi+1​公式为 xi+1=xi−lr∂f(xi)∂xix_{i+1}=x_i -lr \frac{\partial f(x_i)}{\partial x_i}xi+1​=xi​−lr∂xi​∂f(xi​)​ lr为learning rate,学习率。学习率过大可能会导致无法得到很好的收敛，学习率过小会导致收敛过慢。 例如，优化目标为f(x)=x2f(x) = x^2f(x)
【TensorFlow】TensorFlow从浅入深系列之七 -- 教你使用验证数据集判断模型效果
中科院AI算法工程师的博客
11-19 1663
本文是《TensorFlow从浅入深》系列之第7篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法） TensorFlow从浅入深系列之二 -- 教你通过思维导图深度理解深层神经网络 TensorFlow从浅入深系列之三 -- 教你如何对MNIST手写识别 TensorFlow从浅入深系列之四 -- 教你深入理解过拟合问题（正则化） TensorFlow从浅入...
TensorFlow实现指数衰减学习率的方法
09-18
主要介绍了TensorFlow实现指数衰减学习率的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
tensorflow之学习率自衰减的实现
Chinneil的博客
05-31 1万+
... loss = ... learning_rate = tf.train.exponential_decay(0.03, current_epoch, decay_steps=num_epochs,
学习率 - 指数衰减法
深度的魅力
03-19 3574
在tensorflow中可以调用tf.train.exponential_decay函数来实现指数衰减学习率。这个函数的过程如下： 先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐渐减小学习率，使得模型在训练期更加稳定。 为防止过拟合引入一种方法：正则化（regularization) 。正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。...
TensorFlow中学习率衰减的简单笔记
jie的博客
01-08 562
跑实验的时候出现时间过长的情况，如下图的情况： 猜测原因可能是参数设置的问题，所以将batch_size由原来的的64调整为32，运行时间确实缩小了一倍： 举例子（个人理解）： iteraions = 100000,batch_size=32,dataset = 890 decay_steps=10000 learning_rate=0.1 decay_rate=0.9 作用：每次经过10000次迭代，学习率变为原来的0.9 dataset /batch_size=13 i = 1-100000（总训练次
Tensorflow灵活的学习率设置方法--指数衰减法
AI算法联盟
11-08 822
神经网络的学习率决定了参数每次更新的幅度，如果学习率过小，需要更多轮的迭代才能达到一个比较理 想的优化效果，如果过大，可能导致参数在极优值的两侧来回移动。TensorFlow提供了一种灵活的学习率设置 方法—— 指数衰减法 语法：tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, ...
TensorFlow实战系列6--学习率的设置
tianqinglei的博客
02-05 2108
上面提到在优化神经网络时，需要设置学习率（learning rate）控制参数更新的速度。学习率决定了参数每次更新的幅度。如果幅度过大，那么可能导致参数在极优值的两侧来回移动。还是以优化J(x)=x2 函数为样例。如果在优化中使用的学习率为1，那么整个优化过程将会如表2 所示。  从上面的样例可以看出，无论进行多少轮迭代，参数将在5 和-5 之间摇摆，而不会收敛到一个极小值从上面
神经网络优化方法-学习率指数衰减法
qq_29590285的博客
05-12 1366
学习率衰减（learning rate decay） 在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊．为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减 而最常用的方法是指数衰减法： tf.train.exponential_decay() 指数衰减的学习速率计算公式为： decayed_learning_rate = learning_rate * decay_rate ^ ..
TensorFlow笔记：指数衰减学习率
imbabao的博客
10-02 1707
学习率决定了参数更新的幅度。通常我们希望在学习开始阶段提供一个较大的学习率，使得参数快速更新，达到最优解附近。然后随着训练的进行，我们希望在学习率随着训练次数的增加而减少，即在接近最优解的时候能够以较小的学习率逼近最优解 TensorFlow为我们提供了tf.train.exponential_decay()函数实现这个功能 tf.train.exponential_decay()函数 定义 tf...
tensorflow学习笔记4.5绘制ACC和LOSS曲线
qq_40956194的博客
07-27 2780
import tensorflow as tf import os import numpy as np from matplotlib import pyplot as plt np.set_printoptions(threshold=np.inf) mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_
Learning Tensorflow (4)
儒雅，勤思，博学
08-23 2132
搞了那么多准备工作，这节开始来训练一个模型吧，官网上有个关于手写识别完整的例子，模型预测率大概是 91% , 本来打算换一个数据集来玩，结果发现预测率出奇的低(可能是数据量不够，杀鸡用了牛刀)，也许是我开打的方式不对. (含泪)    先引入两个损失函数： – 交叉熵: f1(x)=∑i=1ny′ilog(yi)\begin{align} f_1(x) = \sum_{i=1}^n y'
Python函数：学习率衰减 tf.train.exponential_decay()
huozhiran的博客
03-08 2053
生动形象地介绍了学习率衰减函数： tf.train.exponential_decay()
tensorflow学习笔记(4)-学习率
qq_37633207的博客
05-27 500
　　　　　　　　　　　　　　tensorflow学习笔记(4)-学习率 首先学习率如下图 所以在实际运用中我们会使用指数衰减的学习率 在tf中有这样一个函数 tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 首先看下...
TensorFlow 学习率的设置
rongruosong的博客
09-21 3639
为了解决学习率不能过大不能过小的问题，TensorFlow提供了灵活的学习率设置方法：指数衰减法 tensorflow.train.exponential_decay(learing_rate,global_step,decay_steps,decay_rate,staircase=False,name=None) Args： - learning_rate : 初始学习率，类型为
Tensorflow深度学习之梯度下降算法|学习速率|优化函数|反向传播
最新发布
m0_64578069的博客
01-09 799
简单描述深度学习之梯度下降算法的原理，实践中学习速率的选取，以及优化函数的选择。
TensorFlow优化模型之学习率的设置
修炼之路
10-29 2万+
一、学习率 使用TensorFlow训练一个模型时，我们需要通过优化函数来使得我们训练的模型损失值达到最小，常用的优化算法有随机梯度下降、批量梯度下降，而在使用优化算法的时候，我们都需要设置一个学习率（learning rate），而学习率的设置在训练模型的时候也是非常重要的，因为学习率控制了每次更新参数的幅度。如果学习率太大就会导致更新的幅度太大，就有可能会跨过损失值的极小值（不说最小值的原因
tensorflow中常用学习率更新策略
热门推荐
牧野的博客
04-20 2万+
神经网络训练过程中，根据每batch训练数据前向传播的结果，计算损失函数，再由损失函数根据梯度下降法更新每一个网络参数，在参数更新过程中使用到一个学习率（learning rate），用来定义每次参数更新的幅度。过小的学习率会降低网络优化的速度，增加训练时间，过大的学习率可能导致网络参数在最终的极优值两侧来回摆动，导致网络不能收敛。实践中证明有效的方法是设置一个根据迭代次数衰减的学习率，可以兼顾训...
【tensorflow】在不同层上设置不同的学习率，fine-tuning
Shwan_ma的博客
12-23 1万+
最近一直在研究tensorflow的fine-tuning，TF关于fine-tuning这块的资料真的没有Caffe多。经过这几天的琢磨，差不多也明白了。感谢网上为数不多的开源资料。主要方法有如下两种：
“整个网络的学习率初始化为0.1，采用指数衰减法，衰减因子 为0.1，权重衰减因子为0.98”如何实现
05-27
在深度学习框架中，如TensorFlow或PyTorch中，可以通过设置优化器的参数来实现学习率指数衰减和权重衰减。以TensorFlow为例，可以使用`tf.train.exponential_decay()`函数来实现指数衰减学习率，使用`tf.keras.regularizers.l2()`函数来实现权重衰减。 例如，以下代码片段实现了整个网络的学习率初始化为0.1，采用指数衰减法，衰减因子为0.1，权重衰减因子为0.98： ``` initial_learning_rate = 0.1 decay_steps = 1000 decay_rate = 0.1 weight_decay = 0.02 learning_rate_fn = tf.keras.optimizers.schedules.ExponentialDecay( initial_learning_rate, decay_steps, decay_rate, staircase=True) optimizer = tf.keras.optimizers.SGD( learning_rate=learning_rate_fn, momentum=0.9, ) model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(weight_decay)), tf.keras.layers.Dense(10) ]) model.compile(optimizer=optimizer, loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy']) ``` 在这个例子中，我们使用了`tf.keras.optimizers.schedules.ExponentialDecay()`函数来设置指数衰减学习率，`initial_learning_rate`设置初始学习率，`decay_steps`设置衰减步数，`decay_rate`设置衰减因子，并且将`staircase`参数设置为`True`表示采用阶梯状的指数衰减策略。 同时，我们在模型的第一层设置了权重衰减项，使用了`tf.keras.regularizers.l2()`函数，将`weight_decay`参数设置为0.02。最后，我们使用了`tf.keras.optimizers.SGD()`函数来设置优化器，将指数衰减学习率和动量参数传递给优化器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值