kiki5862的博客

BatchNormalization（BN）是一种用于加速深度神经网络训练的技术，通过标准化每一层的输入使其具有零均值和单位方差。其核心步骤包括：计算小批量的均值和方差，进行标准化，并引入可学习的缩放和平移参数以保持模型表达能力。BN能缓解内部协变量偏移，稳定训练过程，允许使用更高学习率，并起到一定正则化作用。训练时使用当前批次的统计量，推理时则采用滑动平均值。BN有效解决了梯度不稳定等问题，提高了网络收敛速度和训练稳定性。

本文总结了当前常见的激活函数，并将其分类为经典基础函数、改进型函数和新一代函数。经典基础函数包括ReLU、Sigmoid、Tanh和Softmax，这些函数在神经网络中广泛应用。改进型函数如LeakyReLU、PReLU和ELU，通过引入参数或调整负值处理方式，解决了经典函数的一些问题。新一代函数如SiLU、Swish、GELU和Mish，具有更平滑的梯度和更强的非线性表达能力，适用于深层网络和复杂任务。每种激活函数都有其独特的公式、图像和特点，适用于不同的应用场景。