神经网络进一步优化

指数衰减的学习率

学习率决定了参数每次更新的幅度。如果幅度过大，那么可能导致参数在极优值的两侧来回移动。相反，当学习率过小时，虽然能保证收敛性，但是会大大降低优化速度。

为了解决设置学习率的问题，TensorFlow提供了一种更加灵活的学习率设置方法——指数衰减法。tf.train.exponential_decay函数是实现了指数衰减学习率，先使用较大的学习率来快速得到一个较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。

decay_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)

global_step = tf.Variable(0)

# 通过exponential_decay函数生成学习率
learning_rate = tf.train.exponential_decay(0.1, global_step, 100, 0.96, staircase=True)

# 使用指数衰减的学习率。在minimize函数中传入global_step将自动更新global_step参数，从而使得学习率也得到相应更新。
learning_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(...my loss..., global_step=global_step)

staircase的默认值为False，这时学习率随迭代轮数变化为曲线函数。当staircase的值被设置为True时，global_step/decay_steps会被转换成整数，这使得学习率成为一个阶梯函数。

过拟合问题

过拟合指的是当一个模型过为复杂之后，它可以很好地“记忆”每一个训练数据中随机噪音的部分而忘记了要去“学习”训练数据中通用的趋势。

为了避免过拟合问题，一个非常常用的方法是正则化。正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。假设用于刻画模型在训练数据上表现的损失函数为J(θ)，那么在优化时不是直接优化J(θ)，而是优化J(θ)+λR(w)。其中R(w)刻画的是模型的复杂程度，而λ表示模型复杂损失在总损失中的比例。注意此处的θ表示的是一个神经网络中所有的参数，包括边上的权重w和偏置项b。一般来说模型复杂度只由权重w决定。

常用的刻画模型复杂度的函数R(w)有两种：L1正则化、L2正则化。

L1正则化与L2正则化的区别

• L1正则化会让参数变得更稀疏，而L2正则化不会。所谓参数变得更稀疏是指会有更多的参数变为0，这样可以达到类似特征选取的功能。
• L1正则化的计算公式不可导，而L2正则化公式可导。

无论是哪一种正则化方式，基本的思想都是希望通过限制权重的大小，使得模型不能任意拟合训练数据中的随机噪音。在实践中，可以将L1正则化和L2正则化同时使用。

w = tf.Variable(tf.random_normal([2, 1], stddev=1, seed=1))
y = tf.matmul(x, w)

loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l2_regularizer(λ)(w)

TensorFlow提供了tf.contrib.layers.l2_regularizer函数，它可以返回一个函数，这个函数可以计算一个给定参数的L2正则化项的值。类似的，tf.contrib.layers.l1_regularizer函数可以计算L1正则化项的值。

为了解决当神经网络的参数增多之后可能导致损失函数loss的定义很长，以及当网络结构复杂之后定义网络结构部分和计算损失函数的部分可能不在同一个函数中这些问题，可以使用TensorFlow中提供的集合，它可以在一个计算图中保存一组实体。

通过集合计算一个5层神经网络带L2正则化的损失函数的计算方法

# 获取一层神经网络边上的权重，并将这个权重的L2正则化损失加入名称为‘losses’的集合中
def get_weight(shape, lamb):
    var = tf.Variable(tf.random_normal(shape), dtype=tf.float32)
    tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(lamb)(var))
    return var

x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))
batch_size = 8
layer_dimension = [2, 10, 10, 10, 1]
n_layers = len(layer_dimension)

cur_layer = x
in_dimension = layer_dimension[0]

for i in range(1, n_layers):
    out_dimension = layer_dimension[i]
    weight = get_weight([in_dimension, out_dimension], 0.001)
    bias = tf.Variable(tf.constant(0.1, shape=[out_dimension]))

    cur_layer = tf.nn.relu(tf.matmul(cur_layer, weight) + bias)

    in_dimension = layer_dimension[i]

mse_loss = tf.reduce_mean(tf.square(y_ - cur_layer))

tf.add_to_collection('losses', mse_loss)

loss = tf.add_n(tf.get_collection('losses'))

滑动平均模型

滑动平均模型可以使模型在测试数据上更健壮。在采用随机梯度下降算法训练神经网络时，使用滑动平均模型在很多应用中都可以在一定程度提高最终模型在测试数据上的表现。

在TensorFlow中提供了tf.train.ExponentialMovingAverage函数来实现滑动平均模型。

在初始化ExponentialMovingAverage时需要提供一个衰减率decay，用于控制模型更新的速度，decay越大模型越趋于稳定。在实际应用中，decay一般会设成非常接近1的数(比如0.999或0.9999)。为了使得模型在训练前期可以更新得更快，ExponentialMovingAverage还提供了num_updates参数来动态设置decay的大小。如果在xponentialMovingAverage初始化时提供了num_updates参数，那么每次使用的衰减率将是：

min{decay, (1+num_updates)/(10+updates)}

ExponentialMovingAverage对每一个变量会维护一个影子变量，其初始值就是相应变量的初始值，而每次运行变量更新时，影子变量的值会更新为：

shadow_varible = decay * shadow_variable + (1-decay) * variable

v1 = tf.Variable(0, dtype=tf.float32)
step = tf.Variable(0, trainable=False)

ema = tf.train.ExponentialMovingAverage(0.99, step)
maintain_averages_op = ema.apply([v1])

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)

    print(sess.run([v1, ema.average(v1)]))  # [0.0, 0.0]

    sess.run(tf.assign(v1, 5))
    sess.run(maintain_averages_op)
    print(sess.run([v1, ema.average(v1)]))  # [5.0, 4.5]

    sess.run(tf.assign(v1, 10))
    sess.run(tf.assign(step, 10000))
    sess.run(maintain_averages_op)
    print(sess.run([v1, ema.average(v1)]))  # [10.0, 4.555]

    sess.run(maintain_averages_op)
    print(sess.run([v1, ema.average(v1)]))  # [10.0, 4.60945]

（最近更新：2019年04月13日）