Tensorflow——优化器的使用

最新推荐文章于 2025-04-15 11:42:07 发布

鬼 | 刀

最新推荐文章于 2025-04-15 11:42:07 发布

阅读量1.8k

点赞数 1

分类专栏： tensorflow 文章标签：优化器梯度下降法 AdamOptimizer GradientDescentOptimizer

本文链接：https://blog.youkuaiyun.com/gaoyu1253401563/article/details/86217766

版权

本文探讨了Tensorflow中的各种优化器，包括GradientDescentOptimizer和AdamOptimizer等，并通过MNIST数据集的实验，展示了它们在神经网络训练中的性能差异，强调了AdamOptimizer在收敛速度和效果上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于Tensorflow中的优化器（Optimizer），目前已有的有以下：

tf.train.GradientDescentOptimizer() 常用的梯度下降法
tf.train.Adadeltatimizer()
tf.train.Adagradoptimizer()
tf.train.AdagradDAOptimizer()
tf.train.MomentumOptimizer()
tf.train.AdamOptimizer()
tf.train.Ftrloptimizer()
tf.train.ProximalGradientDescentOptimizer()
tf.train.ProximalAdgradOptimizer()
tf.train.Rmspropoptimizer()

不同的优化器有各自的特点，不能说谁好谁坏，有的收敛速度慢，有的收敛速度快。

此处以MNIST数据集识别分类为例进行不同优化器的测试

1、梯度下降法：tf.train.GradientDescentOptimizer()

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)
#每个批次的大小
batch_size = 100
#计算一共需要多少个批次
n_batch = mnist.train.num_examples // batch_size

#定义两个占位符&#x