31、从零开始实现多层人工神经网络进行手写数字分类

从零开始实现多层人工神经网络进行手写数字分类

1. 神经网络前向传播计算

在处理训练数据集中的所有 $n$ 个示例时，我们可以将计算进行泛化。首先，通过矩阵乘法计算隐藏层的净输入矩阵 $\boldsymbol{Z}^{(h)}$：
$$\boldsymbol{Z}^{(h)} = \boldsymbol{A}^{(in)}\boldsymbol{W}^{(h)}$$
这里，$\boldsymbol{A}^{(in)}$ 是一个 $n \times m$ 的矩阵，矩阵乘法的结果是一个 $n \times d$ 维的净输入矩阵 $\boldsymbol{Z}^{(h)}$。接着，对净输入矩阵中的每个值应用激活函数 $\phi(\cdot)$，得到下一层（这里是输出层）的 $n \times d$ 维激活矩阵 $\boldsymbol{A}^{(h)}$：
$$\boldsymbol{A}^{(h)} = \phi(\boldsymbol{Z}^{(h)})$$
同样，对于输出层的激活，我们可以用向量化的形式表示：
$$\boldsymbol{Z}^{(out)} = \boldsymbol{A}^{(h)}\boldsymbol{W}^{(out)}$$
这里，我们将 $d \times t$ 的矩阵 $\boldsymbol{W}^{(out)}$（$t$ 是输出单元的数量）与 $n \times d$ 维的矩阵 $\boldsymbol{A}^{(h)}$ 相乘，得到 $n \times t$ 维的矩阵 $\boldsymbol{Z}^{(out)}$，该矩阵的列表示每个样本的输出。最后，应用 sigmoid 激活函数得到网络的连续值输出：
$$\b