Batch Normalization 详解及其各种变体

最新推荐文章于 2024-05-10 09:44:27 发布

H.SH

最新推荐文章于 2024-05-10 09:44:27 发布

阅读量594

点赞数

分类专栏： deep learning 文章标签： deep learning

本文链接：https://blog.youkuaiyun.com/weixin_42615068/article/details/97682289

版权

本文详细介绍了Batch Normalization的前向传播和反向传播过程，通过计算图展示了如何求解各个变量的偏导数，并给出了反向传播的完整公式。此外，还提及了在实际实现中对整个batch进行操作的注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Batch Normalization的前向与反向传播

前向传播：
在这里插入图片描述

图 1 Batch Normalization 前向传播

反向传播：
根据前向传播过程，可以获得如下计算图，均值和方差都省略了下标B。

在这里插入图片描述

图 2 Batch Normalization 计算图
假定损失函数为

L

，已知

L

相对于

y_{i}

的偏导

\frac{\partial L}{\partial y_{i}}

, 求

\frac{\partial L}{\partial \gamma}

，

\frac{\partial L}{\partial \beta}

，

\frac{\partial L}{\partial x_{i}}

，前两个比较直观，求

\frac{\partial L}{\partial x_{i}}

需要用到

\frac{\partial L}{\partial \widehat{x}_{i}}

，直接列出：

\frac{\partial L}{\partial \gamma}=\sum_{i=1}^{m} \frac{\partial L}{\partial y_{i}} \cdot \widehat{x_{i}} \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ }(1)

$\frac{\partial L}{\partial \beta}=\sum_{i=1}^{m} \frac{\partial L}{\partial y_{i}} \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ }(2)$

$\frac{\partial L}{\partial \widehat{x}_{i}}=\frac{\partial L}{\partial y_{i}} \cdot \gamma\text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ } \text{ }\text{ }(3)$

最低0.47元/天解锁文章