tf学习（六）—— 优化器的使用

最新推荐文章于 2025-05-23 18:15:29 发布
最新推荐文章于 2025-05-23 18:15:29 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qiurisiyu2016/article/details/80383812
本文探讨了在深度学习中，梯度下降法与Adam优化器在模型训练时的收敛速度差异。实验结果显示，使用Adam优化器的模型在迭代次数较少的情况下，测试准确率提升更快，显示出比梯度下降法更优的收敛性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用不同优化器可以得到不同的效果，差别在于收敛速度不同



#梯度下降函数，优化器就会按照循环的次数一次次沿着loss最小值的方向优化参数了。
train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)


#优化器
# train_step = tf.train.AdamOptimizer(0.001)


#收敛速度比较快
# train_step = tf.train.AdamOptimizer(1e-3).minimize(loss)  #10的-3次方,学习率，

使用两种优化器，收敛结果分别如下

Iter 0,Testing Accuracy0.6166
Iter 1,Testing Accuracy0.7754
Iter 2,Testing Accuracy0.7965
Iter 3,Testing Accuracy0.8053
Iter 4,Testing Accuracy0.8119
Iter 5,Testing Accuracy0.816
Iter 6,Testing Accuracy0.8193
Iter 7,Testing Accuracy0.8216
Iter 8,Testing Accuracy0.8235
Iter 9,Testing Accuracy0.825


Iter 0,Testing Accuracy0.7521
Iter 1,Testing Accuracy0.8384
Iter 2,Testing Accuracy0.8709
Iter 3,Testing Accuracy0.8852
Iter 4,Testing Accuracy0.8927
Iter 5,Testing Accuracy0.8982
Iter 6,Testing Accuracy0.9015
Iter 7,Testing Accuracy0.9035
Iter 8,Testing Accuracy0.

最低0.47元/天 解锁文章

200万优质内容无限畅学
TensorFlow深度学习实战（15）——编码器-解码器架构
盼小辉丶的博客
05-09 2146
编码器-解码器架构也称 Seq2Seq (Sequence-to-Sequence) 模型，是一种用于处理序列数据的深度学习模型，广泛应用于自然语言处理任务中，如机器翻译、文本摘要、对话生成等。在 Seq2Seq 模型中，输入和输出都是序列形式，因此非常适用于需要将一个序列映射到另一个序列的任务。在本节中，将介绍 Seq2Seq 模型架构，并实现 Seq2Seq 模型用于机器翻译。
Keras深度学习实战（2）——使用Keras构建神经网络
热门推荐
盼小辉丶的博客
04-20 8万+
Keras 是用 Python 编写的高级神经网络 API，它的核心思想在于实现快速实验，该库提供了很多实用工具，可以简化构建复杂神经网络的过程。在本节中，我们将使用 Keras 库构建神经网络，感受 Keras 快速模型构建的特性。.........
keras优化算法_Keras实现两个优化器：Lookahead和LazyOptimizer
weixin_39541600的博客
12-19 479
最近用Keras实现了两个优化器，也算是有点实现技巧，遂放在一起写篇文章简介一下(如果只有一个的话我就不写了)。这两个优化器的名字都挺有意思的，一个是look ahead(往前看？)，一个是lazy(偷懒？)，难道是两个完全不同的优化思路么？非也非也～只能说发明者们起名字太有创意了。Lookahead#首先登场的是Lookahead优化器，它源于论文《Lookahead Optimizer: k ...
tensorflow-优化器
weixin_30254435的博客
03-13 66
优化器可以通俗的理解成梯度下降那一套流程。 梯度下降 基本流程 a. 损失函数 b. 求导，计算梯度 c. 更新参数 d. 迭代下一批样本 可以对照着理解tf。 tf 优化器 正常使用流程 a. 创建优化器(也就是选择优化方法，只是选择方法，其他什么也没做) b. 指定损失函数和可优化参数 c. minimize最小化损失函数，这步包含两个操作，首先计...
从认识AI开始-----“优化器——神经网络的心脏”
最新发布
weixin_48222697的博客
05-23 1034
本文深入探讨了神经网络中的核心组件——优化器，详细解释了其作用、原理及常见类型。优化器通过反向传播得到的梯度信息更新模型参数，以最小化损失函数。文章介绍了指数加权平均（EMA）作为优化器核心思想之一，并详细解析了几种常见优化器，包括SGD、Momentum、RMSProp、Adam、AdamW和Adagrad，每种优化器都有其独特的更新参数方式，旨在提高模型训练的稳定性和效率。此外，文章还简要介绍了如何在PyTorch框架中调用这些优化器。选择合适的优化器对于提升模型性能和训练效率至关重要。
Tensorflow——优化器的使用
鬼刀
01-10 1828
对于Tensorflow中的优化器（Optimizer），目前已有的有以下： tf.train.GradientDescentOptimizer()       常用的梯度下降法 tf.train.Adadeltatimizer() tf.train.Adagradoptimizer() tf.train.AdagradDAOptimizer() tf.train.MomentumOpt...
tf实现loss,优化器，正则项
Rocket,Qian的博客
12-08 1256
tf实现loss,优化器，正则项1. 先导知识点1.1 tf.where()1.2 np.random.RandomState.rand()1.3 np.vstack()1.4 生成网格坐标点2. 复杂度和学习率2.1 神经网络复杂度2.2 学习率3. 激活函数3.1 Sigmoid函数3.2 Tanh函数3.3 Relu函数3.4 Leaky Relu函数3.5 总结4. 损失函数4. 均方误差mes4.2 自定义损失函数4.3 交叉熵损失函数4.4 交叉熵损失函数与softmax结合5. 过拟合与欠拟
tensorflow2.0基础（7）——损失函数，优化器
青鸠的博客
07-31 2794
损失函数，优化器，评估函数及回调函数
机器学习(六)——优化器
qq_40739219的博客
03-08 1202
优化器是引导神经网络更新参数的工具 鸢尾花分类的各种优化器实现（只有优化器，更新参数的部分不同） 1、SGD优化器 from sklearn import datasets import tensorflow as tf import numpy as np from matplotlib import pyplot as plt import time ##记录时间 #步骤 ###准备数据 # 数据读入 # 这个就是sgd优化器的案例 x_data = datasets.load_iris().d
【深度学习】——优化器
m0_46568930的博客
12-27 1008
神经网络参数优化器   神经网络的训练过程是通过迭代更新超参数来最小化损失函数的过程，最终目标是找到使损失函数最小，最能准确预测的超参数组合。而在更新迭代超参数时就需要用到不同的优化器，本文简要介绍几种常用的优化器。 1.优化器基本步骤 ①计算t时刻损失函数关于当前参数的梯度： ②计算t时刻的一阶动量mt（与梯度相关的函数）和二阶动量Vt（与梯度平方相关的函数） ③计算t时刻下降梯度： ④更新t+1时刻参数：   各个优化器的基本步骤和原理都是这样的，优化器的区别就是一阶动量和二阶动量的设计不同。 2.SG
tf.train.AdamOptimizer——tensorflow自适应矩估计优化器详解
liaojq2020的博客
03-30 1461
一.函数参数 __init__( learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, use_locking=False, name='Adam' ) learning_rate：学习率参数 beta1：一阶矩估计的指数衰减率 beta2：二阶矩估计的指数衰减率 epsilon：一个非常小的数，防止除以零 use_locking：若为真则使用锁进行更新操作 name：使用梯度时创建的操作
tf.train.Optimizer.minimize
巫山云的专栏
11-24 2万+
官方文档如下： tf.train.Optimizer.minimize(loss, global_step=None, var_list=None, gate_gradients=1, aggregation_method=None, colocate_gradients_with_ops=False, name=None, grad_loss=None) Add operations t
十、【TF2】Optimizers 优化器
feifeiyechuan的博客
01-18 1202
TF2.Optimizer一、优化器二、TF2 优化器 一、优化器 前几章，我们已经大概能把完整的一个模型搭建出来，并且也学会了编写评估指标。那么，我们就开始训练算法。 在训练算法的时候，你会发现不同的算法同学，训练的速度和准确率都不尽相同，甚至有很大的准确率差别。那么，除了前几章正常的选择激活函数，损失函数之外，我们还可以在数据层面，选用算法优化器，来提升算法收敛速度，提升准确率。 二、TF2 优化器 ...
java tf值_参数值是否在张量流中的tf.Session（）之外可用？
weixin_33824590的博客
02-24 140
with tf.Session() as sess:sess.run(tf.global_variables_initializer())for i in range(10000):sess.run(train_step, {model_X: X, model_y: y})if i % 100 == 0:mse = sess.run(model_mse, {model_X: X, model_y:...
对比pytorch的优化器实现及使用方法MindSporeAI
skytttttt9394的博客
08-18 1060
MindSpore和pytorch都支持参数分组且使用方法相似，在使用时都是给优化器传入一个字典的列表，每个字典对应一个参数组，其中key为参数名，value为对应的设置值。Mindspore中的混合精度场景下，如果使用FixedLossScaleManager进行溢出检测，且drop_overflow_update为False时，优化器需设置loss_scale的值，且loss_scale值与FixedLossScaleManager的相同，详细使用方法可以参考优化器的混合精度配置。
tensorflow之Optimizers(tensorflow的优化器)
bestrivern的博客
03-05 2488
一.概述 1.默认情况下，优化器训练目标函数所依赖的所有可训练变量。如果你不想训练某一个变量，你可以将关键词trainable设置为False。举例如下： global_step = tf.Variable(0, trainable=False, dtype=tf.int32) learning_rate = 0.01 * 0.99 ** tf.cast(global_step, tf.fl...
用tf.GradientDescentOptimizer(learning_rate).minimize(loss)实现梯度下降法和会话流程
qq_42612717的博客
05-26 2662
创建一个tensorflow最简单的模型实现会话，从而实现梯度下降法。 import tensorflow as tf import numpy as np inputX = np.random.rand(100) inputY = np.multiply(3,inputX) + 1#实现点乘 x = tf.placeholder("float32") weight = tf.Variable(0.25) bias = tf.Variable(0.25) y = np.dot(weight,x) + bi
TF2的梯度带(GradientTape)，优化器(Optimizer)和损失函数(losses)
小猪打呼噜
04-08 1572
因为tensorflow 2.x相对于tensorflow 1.x的变动，API变更和思路也变化了，这节重点介绍的为梯度带(GradientTape)和优化器(Optimizer) 因为大多数机器学习任务就是最小化损失，在损失定义的情况下，后面的工作就交给优化器啦。因为深度学习常见的是对于梯度的优化，也就是说，优化器最后其实就是各种对于梯度下降算法的优化。 一.梯度带tf.GradientTape 梯度带是新版本tensorflow非常常用的一个特性了，因为一旦涉及到计算梯度的问题就离不开这个新的API，
TensorFlow优化算法 tf.train.AdamOptimizer 简介
polyhedronx的博客
06-23 3万+
AdamOptimizer是TensorFlow中实现Adam算法的优化器。Adam即Adaptive Moment Estimation（自适应矩估计），是一个寻找全局最优点的优化算法，引入了二次梯度校正。Adam 算法相对于其它种类算法有一定的优越性，是比较常用的算法之一。 一、算法流程 初始化： 更新规则： 二、 参数定义 __init__( learning...
使用了Adam优化器，有影响吗
05-22
当使用TensorFlow中的Keras API进行模型构建时，可以通过如下方式设置Adam优化器： ```python optimizer = tf.keras.optimizers.Adam(learning_rate=0.001) model.compile(optimizer=optimizer, loss='categorical_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值