18、人工神经网络：从理论到实践的深入探索

人工神经网络：从理论到实践的深入探索

1. 深度学习与人工神经网络基础

在人工神经网络（ANN）的研究中，深度学习是多层ANN背后的基础和概念。在一次测试运行中，实例化了一个三层、九节点的ANN，学习率设为0.20。代码中包含了更新权重矩阵的操作，如下所示：

# update weight matrix wtgih
self.wtgih += self.lr * np.dot((self.hError * self.hOutputT * (1 - self.hOutputT)), self.inputT.T)
print 'updated wtgih'
print wtgih
print
print 'updated wtgho'
print wtgho
print

由于代码未设置多次迭代，所以此次会话仅进行了一次迭代。通过调试打印语句，可以直接比较初始权重矩阵和更新后的权重矩阵，发现它们之间只有细微的变化，这符合梯度下降法的预期，即使用小增量来避免错过全局最小值。

之后，进行了一系列的计算和演示。首先是对一个两层、六节点的ANN进行了逐步手动计算，随后使用Python脚本重新进行了计算。接着，对一个更大的三层、九节点的ANN进行计算，这些计算完全使用Python和从numpy库导入的矩阵算法完成。

还讨论了未训练的ANN中存在的误差及其传播方式，这是理解反向传播技术的基础，该技术用于调整权重以优化ANN。通过一个完整的反向传播示例，展示了如何更新权重以减少整体网络误差。同时，引入了梯度下降（GD）技术，并通过线性回归示例进行说明。GD算法利用误差函数的斜率来寻