9、神经网络：多权重学习与街道灯问题探索

神经网络：多权重学习与街道灯问题探索

1. MNIST 数据集与神经网络配置

MNIST 数据集具有重要的历史意义，它由多年前高中生和美国人口普查局员工手写的数字组成。这些手写数字是黑白图像，每个数字图像都伴随着实际书写的数字（0 - 9）。几十年来，人们一直使用这个数据集来训练神经网络识别手写数字。

每个图像只有 784 个像素（28 × 28），这意味着神经网络的每个训练示例包含 784 个值（每个像素一个值），所以神经网络必须有 784 个输入值。我们的目标是预测 10 个概率，每个数字对应一个概率。给定一个输入图像，神经网络将输出这 10 个概率，从而告诉我们最有可能绘制的数字。

为了配置神经网络以产生 10 个概率，我们需要调整之前的网络，使其具有 784 个输入和 10 个输出。在 MNISTPreprocessor 笔记本中有一个脚本，用于预处理 MNIST 数据集，并将前 1000 个图像和标签加载到两个 NumPy 矩阵（images 和 labels）中。由于图像是二维的，我们需要将其展平为 1 × 784 的向量。具体操作是将第一行像素与第二行、第三行等依次连接起来，直到每个图像形成一个 784 像素长的列表。

1.1 MNIST 分类神经网络

新的 MNIST 分类神经网络与之前训练的多输入多输出网络非常相似，唯一的区别是输入和输出的数量大幅增加。该网络有 784 个输入（对应 28 × 28 图像中的每个像素）和 10 个输出（对应图像中每个可能的数字）。

如果网络能够完美预测，对于一个输入图像（例如数字 2），它将在正确的输出位置（第三个）预测为 1.0，而在其他位置预测为 0。在训练过程