14、神经网络实践：从手写数字识别到围棋落子预测

神经网络实践：从手写数字识别到围棋落子预测

1. Python 中逐步训练神经网络

在 Python 中实现神经网络训练时，有几个要点需要注意。首先，为了使更新幅度较小，需要根据小批量大小对学习率进行归一化。其次，在按逆序遍历各层进行完整的反向传播之前，要先计算网络输出的损失导数，它将作为反向传播的第一个输入增量。

以下是相关代码实现：

def single_forward(self, x): 
    self.layers[0].input_data = x
    for layer in self.layers:
        layer.forward()
    return self.layers[-1].output_data

def evaluate(self, test_data):
    test_results = [(
        np.argmax(self.single_forward(x)),
        np.argmax(y)
    ) for (x, y) in test_data]
    return sum(int(x == y) for (x, y) in test_results)

single_forward 函数用于将单个样本向前传播并返回结果， evaluate 函数则用于计算在测试数据上的准确率。

2. 应用网络进行手写数字分类

在实现了前馈网络后，我们回到最初的手写数字预测用例，针对 MNIST 数据集进行