14、深度学习中的自定义优化器与正则化技术

深度学习中的自定义优化器与正则化技术

自定义优化器示例

在深度学习中，有时我们需要使用一些无法直接获取的优化器，这时就可以自己开发。例如，有研究表明在训练复杂网络时，向梯度添加随机噪声可以让普通梯度下降法变得非常有效。但如果要测试这种方法，就不能使用 tf.GradientDescentOptimizer 函数，因为它实现的是普通的梯度下降，没有添加论文中描述的噪声。要测试该方法，需要在代码中获取梯度，添加噪声，然后用修改后的梯度更新权重。

在构建网络之前，需要明确要使用的数据集和要解决的问题。这里我们使用MNIST数据集进行多类分类，使用softmax函数。可以使用以下代码下载MNIST数据集：

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

MNIST图像是28×28像素（共784像素）的灰度图像，每个像素值在0到254之间。据此可以构建网络：

import tensorflow as tf

X = tf.placeholder(tf.float32, [784, None]) # mnist data image of shape 28*28=784
Y = tf.placeholder(tf.float32, [10, None]) # 0-9 digits recogn