32、深度神经网络的复杂度与数值问题解析

深度神经网络的复杂度与数值问题解析

1. 复杂度相关基础分析

1.1 误差函数与局部极小值

在神经网络中，最后一层梯度归零会得到 $\hat{X}_1’\delta_2 = 0$。由于 $\hat{X}_1 \in R^{\ell,|H| + 1}$，矩阵 $\hat{X}_1’$ 通常是满秩的，这意味着只有 $\delta_2 = 0$ 是可能的，进而表明误差函数没有局部极小值。不过，条件 (5.6.110) 虽重要，但不足以保证 $\hat{X}_1$ 满秩。

1.2 深度网络与局部极小值

对于深度网络，其大维度不仅由网络的层数决定。当神经元使用整流器作为非线性传递函数时，推测“大型网络”能够避开局部极小值。在梯度下降的任何阶段，通过对输入进行分区来聚合数据，使得每个分区产生一个凸惩罚函数。随着权重空间维度的增加，约束条件变得不那么重要，最终能得到全局最小值。

2. 应对神经元饱和问题

2.1 饱和问题的产生

连续梯度下降不仅会陷入局部极小值，在误差函数几乎恒定的平稳区域，梯度启发式方法也会失效。以单个输入和零偏置的单个 S 型神经元用于分类，采用二次惩罚为例，$E(w) = \sum_{\kappa = 1}^{\ell}(d_{\kappa} - \sigma(wx_{\kappa}))^2$，当 $w \to \pm\infty$ 时，$\frac{\partial E(w)}{\partial w} = 0$，这表明了神经饱和问题。

2.2 输入归一化与权重选择

为应对饱和问题，常见的建议是对输入进行归一化，即 $x \to \f