10、自定义优化器与正则化技术在深度学习中的应用

自定义优化器与正则化技术在深度学习中的应用

自定义优化器示例

在深度学习中，有时我们需要使用一些无法直接获取的优化器，这时就需要自己开发优化器。例如，有研究表明，在训练复杂网络时向梯度中添加随机噪声可以让普通梯度下降法变得非常有效，即便在权重初始化不佳的情况下，也能高效地训练20层的深度网络。

但如果要测试这种方法，不能直接使用 tf.GradientDescentOptimizer 函数，因为它实现的是普通的梯度下降法，没有添加论文中提到的噪声。要测试该方法，需要在代码中获取梯度，添加噪声，然后用修改后的梯度更新权重。这里不进行该方法的测试，而是展示如何在不使用 tf.GradientDescentOptimizer 且不手动计算任何导数的情况下开发普通的梯度下降法。

在构建网络之前，需要明确要使用的数据集以及要解决的问题（如回归、分类等）。这里使用MNIST数据集进行多类分类，使用softmax函数。可以使用以下代码下载MNIST数据集：

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

运行上述代码会输出下载和提取数据的信息。如果使用Windows系统，数据文件会存储在 c:\tmp\data 文件夹中。若要更改存储位置，可修改 read_data_sets