20、神经网络优化与调优全解析

神经网络优化与调优全解析

神经网络反向传播与梯度计算

在全连接深度神经网络中，反向传播用于计算所有网络参数相对于交叉熵（CE）误差的梯度。具体步骤如下：
1. 输出层（第L层） ：
- 误差项 (e^{(L)} = [y_1\ y_2\ \cdots\ y_{r - 1}\ \cdots\ y_n]^⊺)。
2. 隐藏层（(l = L - 1, \cdots, 2, 1)） ：
- 误差项 (e^{(l)} = ((W^{(l + 1)})^⊺e^{(l + 1)}) \odot H(z_l))。
3. 所有层（(l = L, \cdots, 2, 1)） ：
- 权重梯度 (\frac{\partial Q(W; x)}{\partial W^{(l)}} = e^{(l)}(z_{l - 1})^⊺)。
- 偏置梯度 (\frac{\partial Q(W; x)}{\partial b^{(l)}} = e^{(l)})。
这里，(y) 和 (z_l)（(l = 0, 1, \cdots, L - 1)）在正向传播中保存。

随机梯度下降优化

一旦知道如何计算网络参数的梯度，就可以基于梯度下降方法迭代学习所有参数。传统的神经网络学习方法是小批量随机梯度下降（SGD）算法。其具体流程如下：

随机初始化 \(W^{(0)}\)，并设置 \(\eta_0\)
设置 \(n = 0\) 和 \(t =