17、深度学习中的人工神经网络：原理、实践与挑战

深度学习中的人工神经网络：原理、实践与挑战

1. 梯度搜索检查

在进行梯度搜索时，检查其是否正常运行是很有必要的。要确保随着迭代次数的增加，误差值持续减小。从图表来看，在第50次迭代后，误差值已非常接近零。这很可能表明存在一个宽泛的最小表面，在这个表面上，用于生成最佳拟合线的m和b值不会有显著变化。经过100次迭代的梯度搜索后，得到的最终最佳拟合线为：$y = 0.61x + 1.3$。

2. 梯度下降在人工神经网络中的应用

梯度下降技术在人工神经网络（ANN）中的应用，是通过调整权重$w_{i,j}$来确定全局最小值，从而最小化ANN中存在的总体误差。这种调整是误差函数关于权重$w_{j,k}$的偏导数的函数，用符号$\frac{\partial e}{\partial w_{j,k}}$表示，该导数也是误差函数的斜率。梯度下降算法会沿着这个斜率下降到全局最小值。

在一个三层六节点的ANN中，除了图中所示的符号外，还需要一个输出节点误差的符号，其表达式为$e_k = t_k - o_k$，其中$t_k$是训练集中的真实或目标值，$o_k$是由训练集输入$x_i$值产生的输出。任意给定节点n的总误差是将上述公式中的k替换为n，而整个ANN的总误差是所有单个节点误差的总和，并且误差会进行平方处理。误差函数的表达式为：$e = \sum_{i=1}^{N} (t_n - o_n)^2$，其中N是ANN中的节点总数。

对该误差函数关于$w_{j,k}$求偏导数，经过一系列推导和简化后，得到用于调整权重的最终方程：$\frac{\partial e}{\partial w_{j,k}} = -(t_k - o_k) \left(\sum_{j}