10、卷积网络与低维表示学习：从图像分类到特征嵌入

卷积网络与低维表示学习：从图像分类到特征嵌入

1. 构建CIFAR - 10卷积网络

CIFAR - 10挑战包含32x32的彩色图像，这些图像属于10个可能的类别之一。这是一个极具挑战性的任务，因为即使是人类也很难分辨图片中的内容。

为了进行对比，我们构建了带和不带批量归一化（batch normalization）的网络。对于使用批量归一化的网络，我们将学习率提高了10倍以充分发挥其优势。以下是带批量归一化的卷积网络代码：

def conv2d(input, weight_shape, bias_shape, phase_train, 
           visualize=False):
    incoming = weight_shape[0] * weight_shape[1] 
                               * weight_shape[2]
    weight_init = tf.random_normal_initializer(stddev=
                  (2.0/incoming)**0.5)
    W = tf.get_variable("W", weight_shape, 
                        initializer=weight_init)
    if visualize:
        filter_summary(W, weight_shape)
    bias_init = tf.constant_initializer(value=0)
    b = tf.get_variable("