10、卷积网络与低维表示学习：原理、实践与应用

卷积网络与低维表示学习：原理、实践与应用

1. 构建CIFAR - 10卷积网络

CIFAR - 10挑战由32x32的彩色图像组成，这些图像分属10个可能的类别。这是一个颇具挑战性的任务，有时甚至人类也难以分辨图像内容。

为了完成这个任务，我们构建了带和不带批量归一化（batch normalization）的卷积网络进行对比。对于带批量归一化的网络，我们将学习率提高了10倍以充分发挥其优势。以下是相关代码：

def conv2d(input, weight_shape, bias_shape, phase_train, 
           visualize=False):
    incoming = weight_shape[0] * weight_shape[1] 
                               * weight_shape[2]
    weight_init = tf.random_normal_initializer(stddev=
                  (2.0/incoming)**0.5)
    W = tf.get_variable("W", weight_shape, 
                        initializer=weight_init)
    if visualize:
        filter_summary(W, weight_shape)
    bias_init = tf.constant_initializer(value=0)
    b = tf.get_variable("b", bias