26、图像分类的神经网络技术详解

图像分类的神经网络技术详解

1. 神经网络初始化

在构建神经网络模型时，为各层选择合适的权重初始值至关重要。将所有权重都设为 0 会严重阻碍学习，因为初始时没有权重处于激活状态。而将权重随机赋值为区间 [0, 1] 内的值，通常也不是最佳选择。实际上，模型性能和学习过程的收敛性在很大程度上依赖于正确的权重初始化，不过初始任务和模型复杂度也起着重要作用。即便任务的解决方案对初始权重值的依赖不强，精心选择的权重初始化方法也能显著影响模型的学习能力，因为它在考虑损失函数的同时预设了模型参数。

1.1 Xavier 初始化方法

Xavier 初始化方法用于简化线性激活函数在误差的前向传播和反向传播过程中通过层的信号流。该方法对 sigmoid 函数也很有效，因为其不饱和区域也具有线性特征。在计算权重时，此方法依赖于方差为 $\frac{2}{n_{in} + n_{out}}$ 的概率分布（如均匀分布或正态分布），其中 $n_{in}$ 和 $n_{out}$ 分别是前一层和后一层的神经元数量。

1.2 He 初始化方法

He 初始化方法是 Xavier 方法的一种变体，更适用于 ReLU 激活函数，因为它弥补了该函数在定义域一半范围内返回零的问题。这种权重计算方法依赖于具有特定方差的概率分布。

除了上述两种方法，还有其他权重初始化方法。具体选择哪种方法通常取决于要解决的问题、网络拓扑结构、使用的激活函数和损失函数。例如，对于递归网络，可以使用正交初始化方法。

2. 卷积神经网络深入探究

2.1 MLP 的局限性

多层感知器（MLP）是最强大的前馈神经网