14、自定义优化器示例与正则化方法详解

自定义优化器示例与正则化方法详解

1. 自定义优化器示例

在某些情况下，我们可能需要使用无法直接获取的优化器，这时就可以自己开发优化器。例如，有研究表明在训练复杂网络时，向梯度添加随机噪声可以让普通梯度下降变得非常有效。但我们无法直接使用 tf.GradientDescentOptimizer 函数来测试该方法，因为它实现的是普通的梯度下降，没有添加论文中描述的噪声。

在构建网络之前，我们需要确定使用的数据集和要解决的问题。这里我们使用MNIST数据集进行多类分类，使用softmax函数。可以使用以下代码下载MNIST数据集：

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

MNIST图像是28×28像素的灰度图像，总共有784个像素，每个像素的值范围是0到254。基于这些信息，我们可以构建网络：

import tensorflow as tf

X = tf.placeholder(tf.float32, [784, None]) # mnist data image of shape 28*28=784
Y = tf.placeholder(tf.float32, [10, None]) # 0-9 digits recognition => 10 classes
lea