神经网络基础部件-BN层详解

已于 2023-02-23 16:07:22 修改
阅读量623 收藏 3
点赞数
分类专栏： 深度学习 文章标签： 神经网络 概率论 BN 内部协变量转移 正态分布
于 2023-02-10 10:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_20986663/article/details/128963327
版权
批量归一化（BN）是为了解决深度神经网络训练过程中的内部协变量转移问题，通过稳定网络中间层的数据分布加速训练和收敛。BN层的工作原理包括在训练时对小批量数据计算均值和方差，然后进行线性变换，以保持网络输入的稳定性。BN层的优点包括提高学习率、缓解梯度消失、减少对初始化的依赖并提供正则化效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一，数学基础

1.1，概率密度函数

随机变量（random variable）是可以随机地取不同值的变量。随机变量可以是离散的或者连续的。简单起见，本文用大写字母 X X X 表示随机变量，小写字母 x x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
RCAN超分网络
qq_40107571的博客
10-11 1529
RCAN网络结构
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 33万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习-Batch Normalization 学习笔记
算法之美
11-24 770
深度学习，Batch Normalization 算法学习笔记
神经网络的bn层_神经网络为啥要BN，怎么做？
weixin_39874379的博客
01-16 732
首先，为啥要做BN， 没有BN肯定也是可以的，但是有BN效果肯定更好，众所周知，神经网络一旦训练起来，参数就要发生更新，出了输入层的数据外，其它层的数据分布是一直发生变化的，因为在训练的时候，网络参数的变化就会导致后面输入数据的分布变化，比如第二层输入，是由输入数据和第一层参数得到的，而第一层的参数随着训练一直变化，势必会引起第二层输入分布的改变，把这种改变称之为：Internal Co...
ResNet网络结构，BN以及迁移学习详解
pyscl01的博客
10-30 5794
ResNet残差结构详解，以及Batch Normalization和迁移学习的详解
深度卷积神经网络（DCNN）
最新发布
Mr.xing的博客
05-21 2090
此外，深度卷积神经网络还包括激活层、BN层、池化层、FC层和损失层等结构，以提升网络的非线性能力，提高网络的表达能力，并对图像进行降采样和平滑处理。在图像处理方面，深度卷积神经网络可以进行图像分类、检测、识别以及分割等操作，如场景分类、目标分类、显著性检测、物体检测、语义检测、人脸识别、字符识别、车牌识别、行为识别、步态识别、前景分割以及语义分割等。深度卷积神经网络通过多个卷积层和池化层的组合，可以逐渐提取出越来越抽象的特征，从简单的边缘到复杂的物体部件，最终形成对整体物体的理解。
PointNet++论文复现（一）【PontNet网络模型代码详解 - 分类部分】
晨的博客
03-22 2179
PointNet++论文复现（一）【PontNet网络模型代码详解 - 分类部分】
Caffe | 核心积木Layer层类详解
yuanCruise
01-20 1608
0.简介 Layer层类是Caffe中搭建网络的基本单元，当然也是使用Caffe训练的核心部件单元，因此我们将其称之为Caffe的核心积木。Layer基类派生出了各种不同功能的层类，Layer类派生出来的层类通过实现两个虚函数Forward()和Backward()，产生了各式各样功能的层类。Forward是从根据bottom计算top的过程进行前向计算，Backward则相反根据top计算bot...
RCNN学习笔记——第二篇: Resnet-x代码详解
ict_rtf的博客
03-17 1502
RCNN学习笔记——第二篇: Resnet-x代码详解 文章目录RCNN学习笔记——第二篇: Resnet-x代码详解1. 导入相关库2. 基本块3. Resnet-x使用的基本块类别4. ResNet基本类5. Resnet-x(18、50)结构展示5.1 Resnet-185.2 Resnet-50 1. 导入相关库 import torch.nn as nn import math import torch.utils.model_zoo as model_zoo # 这个文件内包括6中不同的网络架
BN层的介绍以及优缺点分析（GPT）
weixin_51598892的博客
10-06 732
尽管BN可能会有一些限制，但在大多数情况下，它仍然是一个有用的工具，特别是在深度神经网络的训练中，可以提供稳定性和加速收敛的好处。然而，这种规范化可能会引入一些限制，特别是在某些情况下，它可能抑制了模型的表达能力，这意味着模型无法灵活地捕获某些特定的输入分布特性。: BN将每个特征维度（神经元）独立地归一化，这可能不适用于某些情况，例如在图像处理中，不同的特征可能在同一层中表示不同的模式或对象。在某些情况下，这种偏差可能是有意义的，而BN的归一化可能导致模型失去了对这种信息的敏感性。
BN层详解（含有公式推导过程）
Orange_sparkle的博客
09-19 2万+
如果以上的你懂看明白的话，BN你就理解的差不多了。BN层就是用在激活函数前，用来使上一层的输出，分布在均值为0，方差为1的情况下，也就是对下一层的输入做归一化的操作，这样就能够使它经过激活函数时能够有一定的梯度，从而避免值太大而进入饱和区，梯度就非常小了，不利于梯度下降。并且除了均值和方差，BN层还有自己的学习参数γ和β，网络通过学习来得到想要的数据分布，参数γ和β在训练中通过反向传播中的γ与β求得梯度，从而不断改变每个通道的γ和β参数。
python torchvision_关于PyTorch源码解读之torchvision.models
weixin_39531582的博客
12-21 477
PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网：具体代码可以参考github：这篇博客介绍torchvision.models。torchvision.models这个包中包含alexn...
使用关键点进行小目标检测
机器学习算法那些事
09-06 1805
【GiantPandaCV导语】本文是笔者出于兴趣搞了一个小的库，主要是用于定位红外小目标。由于其具有尺度很小的特点，所以可以尝试用点的方式代表其位置。本文主要采用了回归和heatmap...
pytorch中的pre-train函数模型引用及修改（增减网络层，修改某层参数等）
whut_ldz的博客
12-19 7万+
一、pytorch中的pre-train模型 卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络。 pytorch中自带几种常用的深度学习网络预训练模型，如VGG、ResNet等。往往为了加快学习的进度，在训练的初期我们直接加载pre-train模型中预先训练好的参数，model的加载如下所示： import torchvision.models as mo
BN(Batch Normalization)层原理与作用
zhangxu
01-20 5万+
BN层最重要的作用是让加速网络的收敛速度，同时让网络训练变得更容易；另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等，而没有使用BN的话，更大的学习率就可能导致训练发散，大学习率又反过来作用到训练速度上，加速了收敛速度，两者相辅相成。 此外，也有一种说法是BN层可以提高网络的泛化能力，抑制过拟合，不过这个说法一直存在争议。
【基础知识】---BN层相关原理详解
All_In_gzx_cc的博客
01-30 1298
1 训练数据为什么要和测试数据同分布？ 看看下图，如果我们的网络在左上角的数据训练的，已经找到了两者的分隔面w，如果测试数据是右下角这样子，跟训练数据完全不在同一个分布上面，你觉得泛化能力能好吗？ 2 为什么白化训练数据能够加速训练进程 如下图，训练数据如果分布在右上角，我们在初始化网络参数w和b的时候，可能得到的分界面是左下角那些线，需要经过训练不断调整才能得到穿过数据点的分界面，这个就使训练过程变慢了；如果我们将数据白化后，均值为0，方差为1，各个维度数据去相关，得到的数据点就是坐标上的一个圆形
卷积神经网络CNN（2）—— BN(Batch Normalization) 原理与使用过程详解
Fate_fjh的博客
11-28 10万+
Batch Normalization是由google提出的一种训练优化方法。网上对BN解释详细的不多，大多从原理上解释，没有说出实际使用的过程，这里从what, why, how三个角度去解释BN。
神经网络BN(Batch Normalization)层总结(上)
lipengfei0427的博客
10-10 2087
BN层，全称Batch Normalization，译为批归一化层，于2015年提出。其目的在文章题目中就给出：BN层能够减少内部变量偏移来加速深度神经网络的训练。 源文链接:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 在这里从Batch size讲起，说一下自己的理解，BN层内容其实比较简单，但是为了方便理解我在这里加入一些思考过程，可能稍显冗杂，因而分为上下两
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

嵌入式视觉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值