13、神经网络中的信号学习与噪声忽略

神经网络中的信号学习与噪声忽略

1. 神经网络的初步表现

神经网络能够完美地学习预测1000张图像，这在一定程度上是个胜利。它通过迭代每张图像，进行预测并微调权重，最终能对所有训练图像做出正确预测。然而，当用它对未训练过的图像进行预测时，表现却不尽如人意。在MNIST数据集中，用以下代码评估网络对测试图像的分类能力：

if(j % 10 == 0 or j == iterations-1):
    error, correct_cnt = (0.0, 0)
    for i in range(len(test_images)):
        layer_0 = test_images[i:i+1]
        layer_1 = relu(np.dot(layer_0,weights_0_1))
        layer_2 = np.dot(layer_1,weights_1_2)
        error += np.sum((test_labels[i:i+1] - layer_2) ** 2)
        correct_cnt += int(np.argmax(layer_2) == np.argmax(test_labels[i:i+1]))
    sys.stdout.write(" Test-Err:" + str(error/float(len(test_images)))[0:5] + " Test-Acc:" + str(correct_cnt/float(len(test_images))))
    print()

运行结果显示，网络预测准确率仅为70.