什么是批量归一化（Batch Normalization）？它有什么好处？（面试题200合集，高频、关键）

什么是批量归一化（Batch Normalization）？

批量归一化（Batch Normalization，简称 BN）是一种用于加速深度神经网络训练并提高其稳定性的方法。它通过在神经网络的每一层中对输入数据进行标准化处理来实现这一点。BN 最初由 Sergey Ioffe 和 Christian Szegedy 在 2015 年的论文中提出，其核心思想是规范化每一层输入的激活值，使其具有稳定的分布。

具体来说，批量归一化针对训练时的小批量数据（mini-batch）进行操作。假设一个 mini-batch 包含 $m$ 个输入样本