13、神经网络学习信号与忽略噪声：应对过拟合的策略

神经网络学习信号与忽略噪声：应对过拟合的策略

1. 神经网络的训练与测试表现

神经网络在训练时表现出色，能够完美预测 1000 张图像。它通过迭代每张图像、进行预测并微调权重，最终实现对所有训练图像的准确预测。然而，当将其应用于未训练过的图像时，表现却不尽如人意。

在 MNIST 数据集上，使用以下代码对测试图像进行评估：

if(j % 10 == 0 or j == iterations-1):
    error, correct_cnt = (0.0, 0)
    for i in range(len(test_images)):
        layer_0 = test_images[i:i+1]
        layer_1 = relu(np.dot(layer_0,weights_0_1))
        layer_2 = np.dot(layer_1,weights_1_2)
        error += np.sum((test_labels[i:i+1] - layer_2) ** 2)
        correct_cnt += int(np.argmax(layer_2) == np.argmax(test_labels[i:i+1]))
    sys.stdout.write(" Test-Err:" + str(error/float(len(test_images)))[0:5] +
                     " Test-Acc:" + str(correct_cnt/float(len(test_images))))
    print()
<