深入理解BN、合并conv+BN公式推导

最新推荐文章于 2025-05-14 10:49:24 发布
最新推荐文章于 2025-05-14 10:49:24 发布
阅读量2.8k 收藏 6
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_20880415/article/details/104984499
版权

深入理解BatchNorm

https://www.cnblogs.com/guoyaohua/p/8724433.html

https://www.cnblogs.com/tangweijqxx/p/10678935.html

合bn的原因

在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技术，因此，我们有必要将 BN 层的参数合并到卷积层，来提升模型前向推断的速度。

BN层与卷积层合并的公式推导

x_{i}=wx+b

y_{i}=\gamma*\frac{x_{i}-\mu _{b}}{\sqrt{\sigma _{b}^{2}+\varepsilon }}+\beta=\frac{\gamma w}{\sqrt{\sigma _{b}^{2}+\varepsilon }}x-\frac{\gamma \mu _{b}}{\sqrt{\sigma _{b}^{2}+\varepsilon }}+\beta

 

 

 

Convolution和Batch normalization的融合
如果想成为中心，那么就到中心去吧。
07-01 813
Conv和BN融合
无损提速黑科技：YOLOv8+OREPA卷积优化方案解析（原理推导/代码实现/调参技巧三合一）
最新发布
shrgegrb的博客
05-24 975
OREPA创新性地提出在线动态重参数化机制，突破了传统方法的局限性。通过线性缩放系数和动态权重融合技术，OREPA实现了三大优势：1）训练过程中实时参数优化；2）支持非线性操作合并；3）保持单路径推理效率。在YOLOv8上的实验表明，该方法仅增加0.1M参数就提升1.8 mAP，推理速度提高60 FPS。关键技术包括卷积核分解策略和动态融合公式，通过可学习组件增强特征表达能力。工程实践证实，OREPA能有效平衡模型性能与部署效率，为轻量化网络设计提供了新思路。
加速技巧---Conv BN的融合
u012370185的博客
08-06 6101
网络完成训练后，在inference阶段，为了加速运算，通常将卷积层和BN层进行融合： 卷积层： BN层： 融合两层： 将Conv层的公式带入到BN层的公式 融合后相当于： 【tips：inference阶段，E[x]为滑动均值，Var[x]为滑动方差】 将BN层融合到卷积层中，相当于对卷积核进行一定的修改，没有增加卷积的计算量，同时整个BN层的计算量都省去了。 ...
Conv层和BN层合并
梦坠凡尘
03-09 3837
在深度学习中，Conv + BN + Relu已成为标配， 那么在网络推理阶段，我们其实可以将Conv层和BN层进行合并，因为他们都是线性运算。 合并后就相当于少了BN层的计算，这样可以加快网络推理。 在数学计算上讲，合并的本质其实就是改变了卷积层的权重和偏置。 卷积层计算 BN层计算 其中 将BN层合并于Conv层后，Conv的计算方式如下： 即： 那么，我们令： 则： 可以看到，B...
Conv、BN、Relu融合
taoqick的专栏
04-15 121
这篇文章主要介绍了如何把BatchNorm和ReLU合并成一个Conv，从而加速量化推理。按照计划，应该和之前的文章一样，给出代码实现。但我在测试代码的时候发现有一些bug需要解决，正好也控制一下篇幅，下篇文章会给出相关的代码实现。
4.BN推导
weixin_33973609的博客
04-09 278
　　参考博客：https://www.cnblogs.com/guoyaohua/p/8724433.html 　　参考知乎：https://www.zhihu.com/question/38102762/answer/85238569 1.BN的原理 　　我们知道，神经网络在训练的时候，如果对图像做白化（即通过变换将数据变成均值为0，方差为1）的话，训练效果就会好。那么BN其实就是做了一个...
CONV BN融合实验
qq_40268672的博客
09-29 726
以下代码是对conv+bn的融合，这里，均值、方差都是对batchsize,height,width这三个维度求的，因此mean,var,γ,β都是一个N维向量，其中N为卷积层输出特征的通道数mean,var,\gamma,\beta都是一个N维向量，其中N为卷积层输出特征的通道数mean,var,γ,β都是一个N维向量，其中N为卷积层输出特征的通道数 import numpy as np import torch import torch.nn as nn import torch.nn.function
【推理加速】博客翻译：利用融合conv和bn的方法加速模型
博观约取，厚积薄发
04-11 3423
这是量化和推理优化模型中常用技术。 今天我们将试着理解如何使我们的模型在推理上更快一些。 大量的网络使用 BN 来提高网络的泛化能力 。但是在推理阶段，Batch Normalization 被关闭，取代使用的是每个通道的均值和方差的近似值。最酷的是我们可以通过1x1卷积实现同样的行为。更好的是，我们可以把BN和前面的卷积合并。 Speeding up model with fusing batch normalization and convolution - LearnML.Today ..
BN层详解（含有公式推导过程）
热门推荐
Orange_sparkle的博客
09-19 2万+
如果以上的你懂看明白的话，BN你就理解的差不多了。BN层就是用在激活函数前，用来使上一层的输出，分布在均值为0，方差为1的情况下，也就是对下一层的输入做归一化的操作，这样就能够使它经过激活函数时能够有一定的梯度，从而避免值太大而进入饱和区，梯度就非常小了，不利于梯度下降。并且除了均值和方差，BN层还有自己的学习参数γ和β，网络通过学习来得到想要的数据分布，参数γ和β在训练中通过反向传播中的γ与β求得梯度，从而不断改变每个通道的γ和β参数。
conv+bn算子合并：原理、推导与实现
wulele2的博客
02-16 830
本文将详细介绍Conv+BN合并的原理、数学推导以及实现方法，并通过测试用例验证其正确性。通过将卷积层和批量归一化层合并为一个等效的卷积操作，我们可以在推理阶段减少计算量，从而提升模型的推理效率。本文详细介绍了合并的数学原理，并提供了一个完整的PyTorch实现和测试用例。希望本文能帮助读者更好地理解Conv+BN合并的原理和应用。
语义分割模型优化：轻量化设计与部署实践
AI天才研究院
04-29 1120
语义分割作为像素级图像理解的核心任务，在自动驾驶、医疗影像、AR/VR等领域有广泛应用。然而传统语义分割模型（如DeepLab、U-Net）参数量大、计算复杂度高，难以在移动端（手机/无人机）和边缘设备（嵌入式芯片）实现实时推理。本文聚焦模型轻量化设计与高效部署技术如何在保持分割精度的同时降低模型计算量？轻量化模型的架构设计有哪些关键技术？模型部署到不同硬件平台的最佳实践是什么？基础理论：语义分割核心概念与轻量化技术体系算法原理：架构设计、模型压缩的数学推导与代码实现工程实践。
BN推导.docx
10-02
BN推导
BN层在卷积神经网络 应用实例（python）
04-24
主要为卷积神经网络中的bn层应用，bn层也是一个数据处理的方式，一般位于非线性激活层之前，全连接层之后，本资源涵盖4个代码，分别为bn层建立，cn层在实例中的应用，bn层测试以及有无bn层的对比，供大家更好地了解bn层的作用
AIGC助力高清重建，推动领域变革
AI天才研究院
05-14 840
本文旨在系统性地介绍AIGC技术在高清重建领域的应用，包括其核心技术原理、实现方法以及行业影响。我们将重点关注基于深度学习的图像超分辨率重建技术，并探讨其在医疗影像、影视制作、安防监控等领域的应用前景。文章将从基础概念入手，逐步深入到算法实现和数学原理，最后探讨实际应用和未来发展趋势。我们提供了完整的代码示例和详细的解释，帮助读者理解并实践这些技术。AIGC(人工智能生成内容): 利用人工智能技术自动生成文本、图像、音频、视频等内容高清重建: 通过算法将低分辨率图像/视频提升为高分辨率版本的过程。
结构重参数化详解。（bn+conv）与（conv+bn）的融合
qq_41726670的博客
08-02 2049
将conv1的权重和conv2的权重相加即可合并为一个卷积层，如果kernel大小不一致，在小的kernel周围填充一圈圈的0，直到大小一致，即可完成合并。复习一下conv和bn的公式，其中mean是平均值，var是方差，eps是避免分母为0，W、B是需要学习的参数。那么这就是结构重参数化原理，结构重参数化不仅可以合并水平方向上的分支，也可以合并垂直方向上的操作。的结构，在训练结束后，将多个结构的权重合并，从而在推理时采用另外一种更。为1，并且值为1的卷积操作，那么同样也可以被合并。即融合后conv的W。
卷积神经网络中的Conv层和BN层融合细节
qunsorber的博客
01-29 3192
输入数据的，BN 就是为了解决小批次输入数据的分布偏移而提出的，因此训练时需要BN层。而训练后的推理，是单样本输入，训练时 BN 的参数已经确定，这些参数相当于对前一层的特征图数据做一次线性变换，而卷积层也可以转化为对特征图的线性变换。因为将输入的样本数据或特征图，归一化后，改善了输入数据的分布，或者说。在训练时，卷积层和 BN 是两个模块，但是为什么训练时不能融合，而训练完成后，仅执行前向推理却可以融合？一张图可以解释，改善输入数据的分布，可以更容易找到模型参数w和b，从而加速模型收敛。
总结2: Batch Normalization反向传播公式推导及其向量化
pan5431333的博客
09-21 8211
1. 背景介绍上周学习了吴恩达的Deep Learning专项课程的第二门课，其中讲到了Batch Normalization（BN）。但在课程视频中，吴恩达并没有详细地给出Batch Normalization反向传播的公式推导，而是从high level的角度解释了为什么Batch Normalization会work，以及如何在TensorFlow等framework中使用Batch Norm
【caffe】caffe卷积层和BN层融合
花丸大老师的博客
04-11 3045
Conv和BN算子融合 为什么做融合 在神经网络训练的过程中，BN层能够加速网络收敛，并且能够控制过拟合。不过这样也增加了一些运算和参数，在推理过程中，我们可以通过将BN层与卷积层的参数融合，来减少运算，并且为模型稍稍的瘦一下身。 依赖 protobuf numpy 为了省事，使用protobuf来解析caffe模型，因此不需要配置caffe的python接口 融合小工具github 公式 卷...
【机器学习】详解 Normalization
闻韶
10-03 3890
【机器学习】详解 Normalization
Conv+bn+relu
03-08
Conv+bn+relu是一种常用的神经网络层结构，用于图像处理和深度学习任务中。下面是对每个组件的介绍： 1. Convolutional Layer（卷积层）： 卷积层是神经网络中的基本组件之一，用于提取输入数据的特征。它通过在输入数据上滑动一个可学习的滤波器（也称为卷积核），对输入数据进行卷积操作，从而生成输出特征图。卷积操作可以有效地捕捉到输入数据的局部关系和空间结构。 2. Batch Normalization（批归一化）： 批归一化是一种用于加速神经网络训练和提高模型性能的技术。它通过对每个小批量的输入数据进行归一化处理，使得数据的均值接近0，方差接近1。这样可以减少网络中间层的内部协变量偏移问题，加速收敛过程，并且有助于防止梯度消失或梯度爆炸。 3. ReLU (Rectified Linear Unit)（修正线性单元）： ReLU是一种常用的激活函数，它将负数值映射为0，保持正数值不变。ReLU的主要优点是计算简单且不会引入梯度消失问题。它能够增强网络的非线性表达能力，提高模型的拟合能力。 Conv+bn+relu的结构通常按照以下顺序进行： 1. 输入数据经过卷积操作得到特征图。 2. 特征图经过批归一化操作进行归一化处理。 3. 归一化后的特征图通过ReLU激活函数进行非线性映射。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值