深度学习标准化

最新推荐文章于 2025-07-31 15:39:07 发布

原创

最新推荐文章于 2025-07-31 15:39:07 发布 · 2.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#deep learning #normalization

深度学习标准化通过Batch Normalization、Synchronized Batch Normalization和Group Normalization等方法解决梯度消失、梯度爆炸和Internal Covariate Shift问题，加速网络训练。文章探讨了各种标准化方法的优缺点及应用场景，如Synchronized Batch Normalization在大batch训练和目标检测中的应用，以及Group Normalization对batch size的独立性，适合训练和预测阶段。

深度学习标准化

引言

何凯明在他的论文《Rethinking ImageNet Pre-training》中不使用ImageNet预训练，直接使用参数随机初始化方式（scratch），成功地训练出目标检测任务的神经网络模型。

为什么使用Batch Normalization不能从scratch训练目标检测任务的模型？

为什么何凯明使用Group Normalization和Synchronized Batch Normalization就能训练出来？

深度网络训练的问题

总所周知，深度网络训练会遇到两个大问题：梯度消失和梯度爆炸。

假设网络没有使用非线性函数，不考虑偏置b，设每层网络层输入为 $x(k−1)∈Rnk−1×1x^{(k-1)} \in \mathbb{R}^{n_{k-1} \times 1}$ ，参数是 $W(k)∈Rnk×nk−1W^{(k)} \in \mathbb{R}^{n_{k} \times n_{k-1}}$ ，输出为 $x(k)∈Rnk×1x^{(k)} \in \mathbb{R}^{n_{k} \times 1}$ ，每一层网络层的操作是

$\begin{aligned} x^{(k)} & = W^{(k)} x^{(k-1)} \\ & = W^{(k)} W^{(k-1)} x^{(k-2)} \\ & = W^{(k)} W^{(k-1)} \cdots W^{(1)} x^{(0)} \end{aligned}$
梯度消失