20、神经网络优化与调优全解析

神经网络优化与调优全解析

1. 全连接深度神经网络的反向传播

在全连接深度神经网络中，计算梯度的反向传播过程至关重要。给定输入 - 输出对 $(x, r)$，它能生成交叉熵（CE）误差相对于所有网络参数的梯度。具体步骤如下：
1. 输出层 $L$ ：
- $e^{(L)} = [y_1\ y_2\ \cdots\ y_{r - 1}\ \cdots\ y_n]^⊺$。
2. 隐藏层 $l = L - 1, \cdots, 2, 1$ ：
- $e^{(l)} = ((W^{(l + 1)})^⊺e^{(l + 1)}) \odot H(z_l)$。
3. 所有层 $l = L, \cdots, 2, 1$ ：
- $\frac{\partial Q(W; x)}{\partial W^{(l)}} = e^{(l)}(z_{l - 1})^⊺$
- $\frac{\partial Q(W; x)}{\partial b^{(l)}} = e^{(l)}$
这里，$y$ 和 $z_l$（$l = 0, 1, \cdots, L - 1$）在正向传播中保存。

2. 随机梯度下降优化

一旦知道如何计算网络参数的梯度，就可以基于任何梯度下降方法迭代学习所有参数。传统的神经网络学习方法是小批量随机梯度下降（SGD）算法。其具体操作步骤如下：
1. 初始化 ：随机初始化 $W^{(0)}$，并设置 $\eta_0$，同时设置 $n = 0$ 和 $t