31、从零实现多层人工神经网络及 TensorFlow 加速训练

从零实现多层人工神经网络及 TensorFlow 加速训练

多层人工神经网络的实现与训练

在进行多层人工神经网络（Multilayer Artificial Neural Network）的训练时，我们可以通过以下代码展示 5×5 的子图矩阵：

>>> ax[0].set_xticks([])
>>> ax[0].set_yticks([])
>>> plt.tight_layout()
>>> plt.show()

这个子图矩阵中，副标题的第一个数字表示图的索引，第二个数字代表真实类别标签（t），第三个数字代表预测类别标签（p）。从图中可以发现，有些图像即使对于人类来说也很难正确分类，比如子图 8 中的 6 看起来像随意画的 0，子图 23 中的 8 由于下部较窄且线条较粗，可能会被误认为是 9。

计算逻辑斯谛成本函数

我们实现的逻辑斯谛成本函数 _compute_cost 与之前在逻辑回归中使用的成本函数相同，公式如下：
[
J(w) = -\sum_{i=1}^{n} [y^{[i]} \log(a^{[i]}) + (1 - y^{[i]}) \log(1 - a^{[i]})]
]
其中，(a^{[i]}) 是数据集中第 (i) 个样本的 sigmoid 激活值，通过前向传播步骤计算得出：
[
a^{[i]} = \phi(z^{[i]})
]
这里的上标 ([i])