tensorflow学习笔记（四）：tf.train.exponential_decay的用法

最新推荐文章于 2020-04-30 18:17:07 发布
原创 最新推荐文章于 2020-04-30 18:17:07 发布 · 933 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文纠正了一个关于学习率衰减公式中常见的误解，明确指出 global_step 在 LEARNING_RATE_DECAY 中作为指数而非乘数的角色。

注意：原图上错误的地方，global_step/LRARNING_RATE_BATCH_SIZE  这一项为前面的LEARNING_RATE_DECAY的指数，而不是和其的乘积。

ccccd132
关注
tf.compat.v1.train.exponential_decay用法
qq_36201400的博客
09-14 1396
tf.compat.v1.train.exponential_decay：将指数衰减应用于学习率。 tf.compat.v1.train.exponential_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None ) 训练模型时，通常建议随着训练的进行降低学习率。此函数将指数衰减函数应用于提供的初始学习率。它需要一个global_step值来计算衰减的学习率。您只需传递一个
TensorFlow学习笔记 —— tf.train.Optimizer
RecDay2018's Blog
12-13 2362
反正是要学一些API的，不如直接从例子里面学习怎么使用API，这样同时可以复习一下一些基本的机器学习知识。但是一开始开始和以前一样，先直接讲类和常用函数用法，然后举例子。  这里主要是各种优化器，以及使用。因为大多数机器学习任务就是最小化损失，在损失定义的情况下，后面的工作就交给优化器啦。  因为深度学习常见的是对于梯度的优化，也就是说，优化器最后其实就是各种对于梯度下降算法的优化。  理论部分可...
【TensorFlow】TensorFlow函数精讲之tf.train.exponential_decay()
中科院AI算法工程师的博客
11-17 523
tf.train.exponential_decay实现指数衰减率。通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。 tf.train.exponential_decay格式： tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_r...
Tensorflow基础：tf.train.exponential_decay (指数衰减法)
一个小彩笔
04-16 1477
在神经网络的训练过程中，学习率(learning rate)控制着参数的更新速度， tf.train类下面的五种不同的学习速率的衰减方法。 tf.train.exponential_decay tf.train.inverse_time_decay tf.train.natural_exp_decay tf.train.piecewise_constant tf.train.polynomial_...
tf.train.exponential_decay()
william_hehe的博客
11-28 714
tf.train.exponential_decay() 功能：实现指数衰减学习率；先使用一个较大的学习率来快速得得到一个比较优的解，然后随着迭代的继续逐步减小学习率。 例子：import tensorflow as tf; import numpy as np; #step1: 创建数据类型 #定义占位符；运行时必须传入值 x = tf.placeholder(tf.flo
Tensorflow中tf.train.exponential_decay函数(指数衰减法)
热门推荐
ddy_sweety的博客
06-12 1万+
在神经网络的训练过程中，学习率(learning rate)控制着参数的更新速度，tf.train类下面的五种不同的学习速率的衰减方法。 tf.train.exponential_decay tf.train.inverse_time_decay tf.train.natural_exp_decay tf.train.piecewise_constant tf.train.polyn...
TensorFlow实战笔记之（3）：神经网络优化策略
polyhedronx的博客
07-02 599
根据我前面两篇博客Softmax Regression 实现手写数字识别和简单神经网络 实现手写数字识别的结果，使用单层的Softmax Regression进行手写数字识别的准确率约为92%，而加了一层隐层之后，准确率只有80%左右，令人感到意外，因为一般网络越深，分类效果应该越好才对。不过简单分析一下，原因可能就是加了一层隐层之后参数数量变大，容易产生过拟合等。单层的Softmax Regre...
TensorFlow: 1.x将长时间保持主流
luv_dusk 的博客
01-11 999
Tensorflow 2.0版本虽然推出已有些时日了，前两天 2.1 版本也已经放出来了，但笔者基于一些猜想，一直兴趣乏匮。今天读了读官方说明书，又在一些网站看了看先锋人士的使用体会，果不其然。最终得出结论：**熟悉 TF1.x 的开发者们暂时没有必要切换到 2.x 版本**。具体地，我分为以下几个方面来讨论。
深度学习小白——tensorflow(四)CIFAR-10实例
MargretWG的博客
04-16 8991
最近看了https://github.com/tensorflow/models/tree/master/tutorials/image/cifar10 这个实例，里面有大量的tf库函数，看了好久才大概看个明白，想在此做个学习笔记，把一些函数用途以及整个CNN网络框架记录下来。 一、数据读取 因为之前写过，见http://blog.csdn.net/margretwg/article
Tensorflow笔记（5）：MNIST数据集输出手写数字识别准确率
6先生的博客
10-16 3961
本篇博文的内容是：搭建神经网络，在mnist数据集上训练模型，输出手写数字识别准确率   5.1 √t mnist  数据集 ：包含 7 7  万张 黑底白字手写数字 图片， 其中 55000  张为训练集 ，5000  张为验证集，1 10 0000  张 为测试集 。每张图片大小为28*28  像素，图片中 纯 黑色像素值为0 ， 纯 白色像素值为1 。数据集的标签是长度为 10  的一维...
tf.train.exponential_decay函数(指数衰减法)
sophicchen的专栏
12-03 3996
训练神经网络模型时通常要设置学习率learning_rate，可以直接将其设置为一个常数（通常设置0.01左右），但是在训练刚开始时，用固定学习率会使参数的更新过程显得很僵硬，不能很好的符合训练的需要；到后期参数仅需要很小变化时，学习率的值还是原来的值，会造成无法收敛，甚至越来越差的情况，过大无法收敛，过小训练太慢。 所以我们通常会采用指数衰减学习率来优化这个问题，可以通过tf.train.ex...
Tensorflow中 tf.train.exponential_decay() 等实现学习率衰减
C_1_2_3的博客
04-30 1185
学习率衰减（learning rate decay） 在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊． 为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减． TensorFlow中实现的学习率衰减方法： tf.train.piecewise_constant　分段常数衰减 ...
tf.train.exponential_decay
步步拾遗
09-11 637
函数 - tf.train.exponential_decay tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 功能：实现指数衰减学习率 内部代码实现 decayed_learning_rate...
tf.train.exponential_decay( ) & tf.train.piecewise_constant( )
ghy_111的博客
06-06 797
1. decayed_learning_rate = tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None)模型训练过程中需要下降学习率（learning rate），该函数提供指数衰减函数来初始化学习率。计算公式为：decayed_lea...
TensorFlow-方法train.exponential_decay()
ChadPro
04-29 2676
这个方法提供指数级衰减，用来让模型在训练后期，变化的精度高一些 When training a model, it is often recommended to lower the learning rate asthe training progresses. This function applies an exponential decay functionto a provi
tensorflow之exponential_decay
12-23 2308
在Tensorflow中，为解决设定学习率(learning rate)问题，提供了指数衰减法来解决。 通过tf.train.exponential_decay函数实现指数衰减学习率。 步骤：1.首先使用较大学习率(目的：为快速得到一个比较优的解);              2.然后通过迭代逐步减小学习率(目的：为使模型在训练后期更加稳定); 该函数返回的是一个新的学习率 实例如下： ...
tensorflow: tf.train.exponential_decay函数
lanluyug的博客
04-03 763
官方api翻译：tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 应用指数衰减的学习率。在训练模型时，经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。它需要一个global_step值来计算衰减的学习...
File "/home/yq/anaconda3/envs/patchfusion/lib/python3.8/site-packages/estimator/decays.py", line 3, in <module> exponential = tf.train.exponential_decay AttributeError: module 'tensorflow._api.v2.train' has no attribute 'exponential_decay' decays.py的代码内容如下：import tensorflow as tf exponential = tf.train.exponential_decay inverse_time = tf.train.inverse_time_decay natural_exp = tf.train.natural_exp_decay polynomial = tf.train.polynomial_decay cosine = tf.train.cosine_decay linear_cosine = tf.train.linear_cosine_decay noisy_linear_cosine = tf.train.noisy_linear_cosine_decay 请帮我解决这个报错
最新发布
03-08
<think>好的，我现在要解决用户遇到的TensorFlow 2.x中的AttributeError问题，具体是找不到'tf.train.exponential_decay'属性。首先，我得回忆一下TensorFlow 1.x和2.x之间的主要变化，特别是API的变动。 用户提供的引用内容提到了类似的问题，比如找不到Optimizer、contrib模块等，这些通常是因为从TF1升级到TF2后，许多模块和函数被移动或删除了。例如，在引用[5]中，用户将tf.train.Optimizer改为tf.keras.optimizers.Optimizer，这表明在TF2中，部分优化器被整合到Keras模块里了。所以，我需要检查exponential_decay函数是否也发生了类似的迁移。 首先，我应该确认在TF2中，exponential_decay是否存在。根据之前的经验，TF2推荐使用Keras的API，而很多tf.train中的函数可能被移到其他地方。查阅官方文档会发现，exponential_decay现在属于tf.keras.optimizers.schedules中的ExponentialDecay类。因此，用户可能需要改用新的方式定义学习率衰减。 接下来，用户原来的代码可能是这样写的： learning_rate = tf.train.exponential_decay(...) 这在TF2中会报错，因为tf.train下已经没有这个函数了。正确的做法是使用tf.keras.optimizers.schedules.ExponentialDecay，然后将其传递给优化器。例如： lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(...) optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule) 这样就能正确使用学习率衰减了。 另外，用户可能还在使用TF1兼容模式，即使用tf.compat.v1，这时候可以暂时用tf.compat.v1.train.exponential_decay，但这不是长久之计，应该迁移到TF2的native API。引用[4]中的错误也提到了类似的情况，比如使用tf.train.GradientDescentOptimizer会导致错误，需要替换成Keras的优化器。 还需要检查用户的TensorFlow版本是否正确。如果用户误装了TF1，或者版本过旧，也可能出现这个问题。建议用户升级到最新的TF2版本，并确保代码中没有其他TF1的遗留代码，比如Session、placeholder等，这些在TF2中默认都被移除了。 总结解决步骤： 1. 检查TensorFlow版本，确保是2.x。 2. 替换tf.train.exponential_decay为Keras中的ExponentialDecay类。 3. 调整优化器的使用方式，将学习率计划传递给优化器。 4. 如果必须使用TF1兼容代码，启用v1兼容模式，但建议迁移到TF2原生API。 此外，可能还需要处理其他相关的API变化，比如优化器的调用方式，变量初始化等，如引用[4]中的错误提示。需要确保整个代码都符合TF2的规范，避免混合使用新旧API。</think>### TensorFlow 2.x 中解决 `'tf.train.exponential_decay'` 属性错误的方法 #### 1. **问题原因分析** 在 TensorFlow 2.x 中，许多 1.x 版本的 API 被重构或移至新模块。`tf.train.exponential_decay` 已迁移至 `tf.keras.optimizers.schedules.ExponentialDecay`[^5]。直接调用 `tf.train.exponential_decay` 会触发 `AttributeError`，因为 `tf.train` 模块不再包含此函数[^1][^4]。 --- #### 2. **解决方案** ##### 方法 1：使用 TensorFlow 2.x 推荐的新 API ```python import tensorflow as tf # 定义学习率衰减策略 initial_learning_rate = 0.1 lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay( initial_learning_rate, decay_steps=1000, decay_rate=0.96, staircase=True ) # 将学习率传递给优化器 optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule) ``` ##### 方法 2：临时使用 TensorFlow 1.x 兼容模式 （不推荐长期使用，仅作过渡） ```python import tensorflow as tf # 启用 TensorFlow 1.x 兼容模式 tf.compat.v1.disable_eager_execution() # 仅需在需要旧版行为时调用 # 使用旧版 API learning_rate = tf.compat.v1.train.exponential_decay( learning_rate=0.1, global_step=global_step, decay_steps=1000, decay_rate=0.96, staircase=True ) ``` --- #### 3. **验证 TensorFlow 版本** ```python import tensorflow as tf print(tf.__version__) # 确保输出为 2.x.x ``` 如果版本低于 2.x，需升级： ```bash pip install --upgrade tensorflow ``` --- #### 4. **其他潜在问题排查** - **错误调用优化器**：如果代码中存在 `tf.train.Optimizer`，需替换为 `tf.keras.optimizers`[^5]。 - **混合新旧 API**：避免同时使用 `tf.Session` 或 `tf.placeholder` 等已弃用 API[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值