完全解读BatchNorm2d归一化算法原理

详细解读nn.BatchNorm2d——批量标准化操作 参考链接:完全解读BatchNorm2d归一化算法原理_机器学习算法那些事的博客-优快云博客nn.BatchNorm2d——批量标准化操作解读_视觉萌新、的博客-优快云博客_batchnormal2d 写着一篇博客的目的是为了彻底弄清楚里面具体是怎么计算的,同时也是因为有了太多的博客并没有深入理解,所以特地写一篇博客记录一下。也为了防止后来者脑壳疼。 如果有用的话,请记得点赞+关注哦 一、参数解读 torch.nn.BatchNorm2d(num_features, eps=1e-05, mo 阅读详情

最近小编在研究yolo3的算法源码,在调试过程中发现中间层的BatchNorm2d的结果竟然出现了Nan。

第一次遇到这种情况,为了找出其中的原因,小编查阅了Pytorch官网关于BatchNorm2d的函数解释和网上关于该函数的相关博客,脑壳还是有点模糊,没有代码的测试验证,仅仅用文字去解释BatchNorm2d函数,初学者很容易一头雾水,半知半懂。

本文结合代码去验证BatchNorm2d的算法实现,若有不懂,读者可以参考文中代码并修改参数,来验证自己对该函数的理解是否准确。

实际项目中,我们处理的数据大部分是4维的,如:

其中N为数据个数,C为通道数,H,W分别表示图形的宽和高。

我们用BatchNorm2d归一化上述的数据结构,值得注意的是归一化是每个通道的归一化,以每个通道作为视角来归一化数据。

首先引用Pytorch官网对BatchNorm2d的描述:

BatchNorm2d的计算公式:

其中x为需要归一化的输入数据,和为批量数据的均值和方差,为防止分母出现零所增加的变量,γ和β是对输入值进行仿射操作,即线性变换。γ和β的默认值分别为1和0,仿射包含了不进行仿射的结果,使得BatchNormlization的引入至少不降低模型,γ和β为模型的学习参数。

下面介绍BatchNorm2d的参数解释:

  • num_features:通道数,即维度大小的C。

  • eps:为使数值稳定而在分母上增加的值。默认值:1 e-5

  • momentum:期望和方差的更新参数,与动量梯度下降法类似,期望和方差的更新公式:

为模型的均值或方差,为当前观测值的均值或方差,为更新后的均值或方差,momentum为更新参数。

  • affine:归一化是否需要仿射,若设置为True,则需要对模型进行仿射,默认值为True。

  • track_runnning_states:模型的均值和方差是否需要更新,若为True,表示需要更新;反之不需要更新。更新公式参考momentum参数介绍 。

模型参数是否需要更新,需要结合参数布尔型参数trainning和track_running_states来看,模型归一化的结果也因这两种参数的不同而不同。

根据模型处于训练阶段或测试阶段,参数trainning和track_running_states有4种组合方式。

  • trainning = True,track_running_states = True,模型处于训练阶段,表示每作一次归一化,模型都需要更新参数均值和方差,即更新参数 running_mean 和 running_var 。

  • trainning = True,track_running_stats = False,模型处于训练阶段,表示对新的训练数据进行归一化时,不更新模型的均值和方差,这种设置是错误的,因为不能很好的描述全局的数据统计特性。

  • trainning = False,track_running_stats = True,模型处于测试阶段,表示模型在归一化测试数据时,需要考虑模型的均值和方差,但是不更新模型的均值和方差。

  • trainning = False,track_running_stats = False,模型处于测试阶段,表示模型在归一化测试数据时,不考虑模型的均值和方差,这种设置是错误的,归一化的结果会造成统计特性的偏移。

由上面4种组合参数的介绍,正确的参数设置应为:

训练阶段:trainning = True,track_running_stats = True

测试阶段:training = False,track_running_stats = True

脑壳是不是一头雾水,下面用例子说明参数的含义:

1. 训练阶段的归一化实例

初始化训练阶段的归一化模型:

m3 = nn.BatchNorm2d(3, eps=0, momentum=0.5, affine=True, track_running_stats=True).cuda()
# 为了方便验证,设置模型参数的值
m3.running_mean = (torch.ones([3])*4).cuda()     # 设置模型的均值是4
m3.running_var = (torch.ones([3])*2).cuda()      # 设置模型的方差是2

# 查看模型参数的值
print('trainning:',m3.training)
print('running_mean:',m3.running_mean)
print('running_var:',m3.running_var)
# gamma对应模型的weight,默认值是1
print('weight:',m3.weight)
# gamma对应模型的bias,默认值是0
print('bias:',m3.bias)

#>
trainning: True
running_mean: tensor([4., 4., 4.], device='cuda:0')
running_var: tensor([2., 2., 2.], device='cuda:0')
weight: Parameter containing:
tensor([1., 1., 1.], device='cuda:0', requires_grad=True)
bias: Parameter containing:
tensor([0., 0., 0.], device='cuda:0', requires_grad=True)

生成批量数据为1,通道为3,均值为0方差为1的416行416列输入数据:

# 生成通道3,416行416列的输入数据
torch.manual_seed(21)
input3 = torch.randn(1, 3, 416, 416).cuda()
# 输出第一个通道的数据
input3[0][0]

#>
tensor([[-0.2386, -1.0934,  0.1558,  ..., -0.3553, -0.1205, -0.3859],
        [ 0.2582,  0.2833,  0.7942,  ...,  1.1228,  0.3332, -1.2364],
        [-0.8235, -1.1512, -0.5026,  ...,  0.9393, -0.5026, -0.4719],
        ...,
        [-0.2843, -1.3638, -0.4599,  ...,  1.6502,  0.4864, -0.1804],
        [ 0.3813, -0.6426,  0.4879,  ...,  2.7496,  1.8501,  1.7092],
        [ 0.8221, -0.5702,  0.1705,  ...,  1.0553,  1.0248,  0.5127]],
       device='cuda:0')

对上面的数据进行归一化:

# 数据归一化
output3 = m3(input3)
# 输出归一化后的第一个通道的数据
output3[0][0]

#>
tensor([[-0.2427, -1.0955,  0.1508,  ..., -0.3592, -0.1249, -0.3897],
        [ 0.2529,  0.2779,  0.7876,  ...,  1.1154,  0.3277, -1.2382],
        [-0.8262, -1.1531, -0.5061,  ...,  0.9323, -0.5061, -0.4755],
        ...,
        [-0.2884, -1.3652, -0.4635,  ...,  1.6416,  0.4805, -0.1847],
        [ 0.3757, -0.6458,  0.4820,  ...,  2.7383,  1.8410,  1.7004],
        [ 0.8154, -0.5735,  0.1654,  ...,  1.0480,  1.0176,  0.5067]],
       device='cuda:0', grad_fn=<SelectBackward>)

为了理解BatchNorm2d的函数实现,我们编写此函数的算法实现,比对归一化结果。

因为trainning = True,track_running_stats = True,我们需要更新模型的均值和方差:

为模型更新前的均值或方差,代码计算更新后的均值和方差:

# 计算更新后的均值和方差
momentum = m3.momentum    # 更新参数
# 更新均值
ex_new = (1 - momentum) * ex_old + momentum * obser_mean
# 更新方差
var_new = (1 - momentum) * var_old + momentum * obser_var
# 打印
print('ex_new:',ex_new)
print('var_new:',var_new)

#>
ex_new: tensor([2.0024, 2.0015, 2.0007], device='cuda:0')
var_new: tensor([1.5024, 1.4949, 1.5012], device='cuda:0')

我们不调用归一化函数,自己编写训练阶段的归一化代码:

# 输入数据的均值
obser_mean = torch.Tensor([input3[0][i].mean() for i in range(3)]).cuda()
# 输入数据的方差
obser_var = torch.Tensor([input3[0][i].var() for i in range(3)]).cuda()
# 编码归一化
output3_source = (input3[0][0] - obser_mean[0])/(pow(obser_var[0] + m3.eps,0.5))
output3_source

#>
tensor([[-0.2427, -1.0955,  0.1508,  ..., -0.3592, -0.1249, -0.3897],
        [ 0.2529,  0.2779,  0.7876,  ...,  1.1154,  0.3277, -1.2382],
        [-0.8262, -1.1531, -0.5061,  ...,  0.9323, -0.5061, -0.4755],
        ...,
        [-0.2884, -1.3652, -0.4635,  ...,  1.6416,  0.4805, -0.1847],
        [ 0.3757, -0.6458,  0.4820,  ...,  2.7383,  1.8410,  1.7004],
        [ 0.8154, -0.5735,  0.1654,  ...,  1.0480,  1.0176,  0.5067]],
       device='cuda:0')

结果一致,我们输出模型的running_mean和running_var:

m3.running_mean,m3.running_var

#>
(tensor([2.0024, 2.0015, 2.0007], device='cuda:0'),
 tensor([1.5024, 1.4949, 1.5012], device='cuda:0'))

发现模型的running_mean和running_var和我们计算的更新均值与方差结果一致,同时通过代码我们也知道模型的running_mean和running_var是在forward()操作中更新的,训练阶段的算法实现就介绍到这,下面介绍下测试阶段归一化的算法实现。

2. 测试阶段的归一化实例

初始化归一化模型,并设置模型处于测试阶段:

# 初始化模型,并设置模型处于测试阶段
import torch
import torch.nn as nn
m3 = nn.BatchNorm2d(3, eps=0, momentum=0.5, affine=True, track_running_stats=True).cuda()
# 测试阶段
m3.eval()
# 为了方便验证,设置模型参数的值
m3.running_mean = (torch.ones([3])*4).cuda()     # 设置模型的均值是4
m3.running_var = (torch.ones([3])*2).cuda()      # 设置模型的方差是2

# 查看模型参数的值
print('trainning:',m3.training)
print('running_mean:',m3.running_mean)
print('running_var:',m3.running_var)
# gamma对应模型的weight,默认值是1
print('weight:',m3.weight)
# gamma对应模型的bias,默认值是0
print('bias:',m3.bias)

#>
trainning: False
running_mean: tensor([4., 4., 4.], device='cuda:0')
running_var: tensor([2., 2., 2.], device='cuda:0')
weight: Parameter containing:
tensor([1., 1., 1.], device='cuda:0', requires_grad=True)
bias: Parameter containing:
tensor([0., 0., 0.], device='cuda:0', requires_grad=True)

生成3通道,416行416列的输入数据

# 初始化输入数据,并计算输入数据的均值和方差
# 生成通道3,416行416列的输入数据
torch.manual_seed(21)
input3 = torch.randn(1, 3, 416, 416).cuda()
# 输入数据的均值
obser_mean = torch.Tensor([input3[0][i].mean() for i in range(3)]).cuda()
# 输入数据的方差
obser_var = torch.Tensor([input3[0][i].var() for i in range(3)]).cuda()
# 打印
print('obser_mean:',obser_mean)
print('obser_var:',obser_var)

#>
obser_mean: tensor([0.0047, 0.0029, 0.0014], device='cuda:0')
obser_var: tensor([1.0048, 0.9898, 1.0024], device='cuda:0')

归一化输入数据,并打印第一个通道的数据

# 数据归一化
output3 = m3(input3)
# 输出归一化后的第一个通道的数据
output3[0][0]

#>
tensor([[-2.9971, -3.6016, -2.7182,  ..., -3.0797, -2.9136, -3.1013],
        [-2.6459, -2.6281, -2.2668,  ..., -2.0345, -2.5928, -3.7027],
        [-3.4107, -3.6424, -3.1838,  ..., -2.1642, -3.1838, -3.1621],
        ...,
        [-3.0295, -3.7928, -3.1536,  ..., -1.6615, -2.4845, -2.9560],
        [-2.5588, -3.2828, -2.4834,  ..., -0.8842, -1.5202, -1.6199],
        [-2.2471, -3.2316, -2.7078,  ..., -2.0822, -2.1038, -2.4659]],
       device='cuda:0', grad_fn=<SelectBackward>)

自己编写测试阶段的归一化代码,结果与调用BatchNorm2d函数结果一致。

# 归一化函数实现
output3_source = (input3[0][0] - m3.running_mean[0])/(pow(m3.running_var[0] + m3.eps,0.5))
output3_source

#>
tensor([[-2.9971, -3.6016, -2.7182,  ..., -3.0797, -2.9136, -3.1013],
        [-2.6459, -2.6281, -2.2668,  ..., -2.0345, -2.5928, -3.7027],
        [-3.4107, -3.6424, -3.1838,  ..., -2.1642, -3.1838, -3.1621],
        ...,
        [-3.0295, -3.7928, -3.1536,  ..., -1.6615, -2.4845, -2.9560],
        [-2.5588, -3.2828, -2.4834,  ..., -0.8842, -1.5202, -1.6199],
        [-2.2471, -3.2316, -2.7078,  ..., -2.0822, -2.1038, -2.4659]],
       device='cuda:0')

打印模型的running_mean和running_var

# 查看模型的running_mean和running_var
print(m3.running_mean,m3.running_var)

#>
tensor([4., 4., 4.], device='cuda:0') tensor([2., 2., 2.], device='cuda:0')

由结果可知,执行测试阶段的froward函数后,模型的running_mean和running_var不改变。

小结

3. 小结

由上面例子可知:

当trainning = True,track_running_stats = True,训练阶段改变了模型的running_mean和running_var,归一化算法的均值和方差采用了模型更新前的running_mean和 running_var 。

当trainning = False,track_running_stats = True,测试阶段不改变了模型的running_mean和running_var,归一化算法的均值和方差采用了模型的running_mean和 running_var 。

其他两种情况(trainning = True,track_running_stats = False 和 trainning = False ,track_running_stats = False),小伙伴可以用上述例子去验证这两种情况的算法实现,因为这两种情况会产生较大的偏差,这里不作介绍了。

回到本文的第一个问题,为什么归一化后会出现Nan,原来由于前面的失误,造成最后一个通道的方差小于 0 ,如下红框标记的图:

欢迎扫码关注:

pytorch方法测试——归一化(BatchNorm2d) 测试代码:import torch import torch.nn as nn m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用 input = torch.randn(1,2,3,4) output = m(input) print("输入图片:") print(input) print("归一化权重:") print(m.weight) print... 阅读详情

相关推荐

BatchNorm的原理和计算实例

关于这个问题,其实很多同学都会有疑问,因为在论文中是一系列的公式展开,其实并不是很好理解。 关于BN 其实BN操作的目地是使一批feature map 进行归一化,避免数据过大而导致网络性能的不稳定。我记得网有一篇博文中对BN有较详细的介绍,大概意思就是,输入数据经过若干层的网络输出其实会让数据特征分布和初始分布不一致,降低模型的泛化性能,引入BN机制后,先将特征变为标准正态分布,然后再通过γ和β两个参数将标准正态分布适当拉回归一化前的分布,相当于在原分布和标准正态分布进行折中,以此增强模型的泛化性。

丑小鸭 6516

pytorch中对BatchNorm2d()函数的理解

机器学习中,进行模型训练之前,需对数据做归一化处理,使其分布一致。在深度神经网络训练过程中,通常一次训练是一个batch,而非全体数据。每个batch具有不同的分布产生了internalcovarivateshift问题——在训练过程中,数据分布会发生变化,对下一层网络的学习带来困难。BatchNormalization强行将数据拉回到均值为0,方差为1的正太分布上,一方面使得数据分布一致,另一方面避免梯度消失。...

qq_41915623的博客 1万+

【深度学习归一化实战指南】四大主流方法:BatchNorm、LayerNorm、InstanceNorm、GroupNorm 的选型与避坑

本文深入解析深度学习中四大主流归一化方法(BatchNorm、LayerNorm、InstanceNorm、GroupNorm)的选型策略与实战避坑指南。通过对比实验和技术原理分析,帮助开发者在CV、NLP等不同场景中选择最佳归一化方案,提升模型训练效率和性能。特别针对BatchNorm在小批量数据下的替代方案和LayerNorm在Transformer中的应用进行了详细探讨。

weixin_30954265的博客 726

BatchNorm2d这是什么层

它在每个通道的特征图上进行归一化,并通过学习可学习的参数来调整规范化的结果。具体而言,对于每个通道,BatchNorm2d计算该通道上所有样本的均值和方差,并使用这些统计量来对该通道上的特征进行规范化。批归一化是一种常用的技术,旨在解决深度神经网络训练中的梯度消失和梯度爆炸问题,并提高网络的收敛速度和稳定性。批归一化通过对每个小批量样本的特征进行规范化,使得特征的均值接近0,方差接近1。它通常应用于卷积神经网络(CNN)的卷积层之后或全连接层之前,用于规范化输入数据并加速网络的训练过程。

weixin_44943389的博客 2421

logisim实验——通过2个半加器实现1-bit全加器,通过4个一位全加器构成4-bit加法器(详解)

一、由异或门和与门所构成的半加器: 二、由两个半加器构成的1-bit全加器: ..

zep 1万+

第三方系统(异构系统)基于token身份认证方式访问Ecology9的Restful接口Ecology9服务器配置部分

通过Token的认证方式调用Ecology9系统Restful业务接口服务器配置部分

svsou的专栏 2178

【深度学习】完全解读BatchNorm2d归一化算法原理

最近在研究yolo的算法源码,在调试过程中发现中间层的BatchNorm2d的结果竟然出现了Nan。第一次遇到这种情况,为了找出其中的原因,小编查阅了Pytorch官网关于BatchNorm2d的函数解释和网上关于该函数的相关博客,脑壳还是有点模糊,没有代码的测试验证,仅仅用文字去解释BatchNorm2d函数,初学者很容易一头雾水,半知半懂。本文结合代码去验证BatchNorm2d的算法实现,若...

fengdu78的博客 465

CASIA数据集解析:图像篡改检测的黄金标准与实践指南

本文深入解析了CASIA数据集在图像篡改检测领域的核心价值与应用实践。作为中科院自动化所打造的黄金标准,CASIA数据集通过模拟真实篡改场景(如拼接和复制移动)为研究者提供全面支持。文章详细对比了v1.0与v2.0版本差异,分享数据预处理和模型训练的最佳实践,并探讨了未来研究方向,是图像篡改检测领域的重要参考指南。

kappa的博客 785

机器学习算法那些事 | 【深度学习】完全解读BatchNorm2d归一化算法原理

最近在研究yolo的算法源码,在调试过程中发现中间层的BatchNorm2d的结果竟然出现了Nan。接下来文章完全解读BatchNorm2d归一化算法原理。

csdn_xmj的博客 1079

AI学习指南RAG篇(19)-API调用与集成

通过上述API调用示例,您可以方便地将RAGFlow与其他系统集成,实现数据集管理、文档处理、会话管理等功能。希望本文的介绍能帮助您更好地理解和使用RAGFlow的API。

俞兆鹏的博客 2549

20、机器人硬件改造与Geomagic Touch设备的运动学和动力学模型

本文详细介绍了机器人CRS 465和255的硬件改造过程,包括数字阶段、模拟阶段、功率阶段及软件实现,并深入研究了Geomagic Touch触觉设备的五自由度与三自由度运动学、微分运动学及动力学模型。文章还探讨了其在虚拟手术、装配等场景中的应用,提出了硬件与模型优化方向,如电源管理改进、信号处理优化、参数校准与自适应控制,并展望了多机器人协作、多传感器融合与智能控制算法的发展前景。

e4f5g6h7的博客 123

nn.BatchNorm2d原理探究与实验

前言 早上被同学为了batch norm的原理,由于我之前仅仅停留在使用torch.nn.BatchNorm2d的阶段,只知道是对channel维度就行批归一化,但不太清楚具体实现,于是就做了该实验。先来看看torch的例子,然后再写个手写版方式计算的代码。 torch方式 # encoding:utf-8 import torch import torch.nn as nn input = torch.tensor([[[[1, 1], [1, 2]]

andy dennis的博客 2329

第 13 章:Spring AI Alibaba MCP 与 Nacos3 — 企业级MCP服务

理解Spring AI Alibaba 框架下的MCP服务与Nacos注册中心整合的必要性,学会Spring AI Alibaba-基于Nacos的MCP实现方法

paopao_wu的专栏 789

pytorch中nn.BatchNorm2d函数的使用

作用 机器学习中,进行模型训练之前,需对数据做归一化处理,使其分布一致。在深度神经网络训练过程中,通常一次训练是一个batch,而非全体数据。在训练过程中,数据分布会发生变化,对下一层网络的学习带来困难。BatcNormalization强行将数据拉回到均值为0,方差为1的正太分布上,一方面使得数据分布一致,另一方面避免梯度消失 class torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True) num_featur

weixin_44656547的博客 3536

Codex 团队如何用自己的产品构建产品——整个 Spec 只有 10 个要点

OpenAI Codex团队采用极简产品开发模式,整个产品规格仅10个要点。团队50-100人长期仅1名PM,设计师代码量已超过工程师。产品负责人Alexander Embiricos透露,团队几乎不写详细文档,仅在需要协调时写简短要点。OpenAI采用独特规划哲学:只做8周内短期或长期方向性规划,拒绝中期路线图。2025年GPT-5.2 Codex发布后,模型能力突破催生了桌面应用开发。团队强调"让离代码最近的人做决策",PM角色转变为"填空者",设计师与工程师界限

351

Go语言面试:面试中经常被问到的50个经典面试题(附参考答案)

Go语言核心知识点摘要 基础语法与数据结构 make和new区别:new分配零值内存返回指针,make初始化引用类型返回实例 Slice底层:包含指针、长度、容量的结构体,多个slice可共享底层数组 nil与空slice:nil指针为nil,空slice指针非nil但JSON编码不同 Map原理:哈希表实现,非线程安全,扩容策略影响性能 for range注意:循环变量是拷贝,map遍历无序 defer执行:LIFO顺序,函数返回前执行 Struct比较:仅当所有字段可比较时才可比较 参数传递:只有值传递

数据知道的博客 4727

PyTorch基础(12)-- torch.nn.BatchNorm2d()方法

Batch Normanlization简称BN,也就是数据归一化,对深度学习模型性能的提升有很大的帮助。BN的原理可以查阅我之前的一篇博客。白话详细解读(七)----- Batch Normalization。但为了该篇博客的完整性,在这里简单介绍一下BN。 一、BN的原理 BN的基本思想其实相当直观:因为深层神经网络在做非线性变换前的激活输入值(就是那个x=WU+B,U是输入)随着网络深度加深或者在训练过程中,其分布逐渐发生偏移或者变动,之所以训练收敛慢,一般是整体分布逐渐往非线性函数的取值区间的上下限

奋斗の博客 8491

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【pytorch】BatchNorm2d官方文档解读

本文详细介绍了Batch Normalization的实现和数学原理:方法概述:Batch Normalization适用于4D输入(即小批量的2D输入加上通道维度),其基本公式为: y=x−μ[x]Var[x]+ϵ⋅γ+β y = \frac{x - \mu[x]}{\sqrt{\mathrm{Var}[x] + \epsilon}} \cdot \gamma + \beta y=Var[x]+ϵ​x−μ[x]​⋅γ+β 其中,μ[x]\mu[x]μ[x]和Var[x]\mathrm{Var}[x]Var

loinleeai的博客 1285

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

从原理到调参:深度解读PyTorch三大归一化层的超参数设置技巧(含eps/momentum实验)

本文深入解析PyTorch中BatchNorm、LayerNorm和GroupNorm三大归一化层的核心原理与超参数调优技巧。通过实验详细探讨了eps参数对数值稳定性的影响、momentum参数如何平衡历史与当前统计量,以及GroupNorm中num_groups分组策略的选择逻辑,为模型训练收敛慢、泛化差等问题提供了基于原理的调参方法论。

berry的博客 662

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

BN批量标准化操作解读

num_features: :math:`C` from an expected input of size :math:`(N, C, H, W)` eps: a value added to the denominator for numerical stability. Default: 1e-5 momentum: the value used for the running_mean and running_va...

mytzs123的博客 756

复现论文79.9% mIoU的秘密:deeplabv3plus-pytorch同步批归一化SyncBN与patch_replication_callback深度解读

deeplabv3plus-pytorch 是一个用 PyTorch 实现的 DeepLabv3+ 语义分割网络,它在 PASCAL VOC 2012 验证集上达到了论文水平的 79.945% mIoU(Xception 骨干)。很多新手在多卡训练时发现"为什么自己的 mIoU 总比论文低零点几个百分点",答案就藏在两个关键词里:**同步批归一化(SyncBN, Synchronized Batc

gitblog_00954的博客 697

【机器学习入门】113.[第8章 优化、损失与正则化] 批归一化与层归一化:稳定训练的秘密武器

深度学习归一化技术解析:BN与LN的核心原理与应用实践 摘要:本文深入解析批归一化(BatchNorm)和层归一化(LayerNorm)在深度学习中的关键作用。内容涵盖:1)概念本质,解释如何通过标准化解决内部协变量偏移问题;2)应用场景对比,分析BN在CV和LN在NLP领域的优势;3)数学推导与参数调节,揭示γ/β参数的重要作用;4)PyTorch实战对比,展示不同归一化技术的效果差异。文章指出,BN通过批次维度归一化适合图像数据,而LN基于样本维度处理更适合变长序列,两者都是提升模型训练稳定性和收敛速度

769

DCGAN实战:从归一化到训练稳定性的5个关键细节

生成对抗网络(GAN)是一种通过对抗学习实现数据分布建模的基础生成式AI技术,其核心原理是生成器与判别器的极小极大博弈。在工程落地中,DCGAN作为首个成功将卷积结构引入GAN的架构,显著提升了图像生成的稳定性与质量。然而,大量初学者模型无法收敛,根本原因常在于输入归一化范围、激活函数匹配、批归一化顺序、优化器超参等底层实践细节。本文聚焦MNIST手写数字生成任务,深入解析[-1,1]归一化、tanh输出层、Conv2DTranspose上采样、beta_1=0.5的Adam配置等关键技术决策,揭示这些看似

alexhill2009的博客 500

CNN解读:BN实现细节

BatchNorm2d原理、作用及其pytorch中BatchNorm2d函数的参数讲解: https://my.oschina.net/u/4274857/blog/4512852 自己绘制的图如下:

pangxing6491的博客 761

CANN ops-nn BatchNorm 算子深度解析:训练/推理双模式实现与图模式调用实战指南

本文以 CANN(Compute Architecture for Neural Networks)神经网络算子库 ops-nn 中的 BatchNorm 算子为对象,系统讲解其在 NPU 上的批量归一化计算原理、训练与推理两种工作模式下的输入输出语义、全部可配置参数,并结合算子 IR 定义、Shape 推导、Tiling 计算与 Kernel 实现源码,给出通过算子 IR 构图(GEIR)方式在

gitblog_00066的博客 473

numpy-ml 神经网络层(Layers)模块完全指南:从 LayerBase 到 20 种可组合层的实现与配置

本文围绕 numpy-ml 仓库中的神经网络层(Layers)模块展开,该模块位于 [numpy_ml/neural_nets/layers/layers.py](https://link.gitcode.com/i/0ac07eb2d03c113cede5e1065115a6a0),对应 Sphinx 文档页 [docs/numpy_ml.neural_nets.layers.rst](http

gitblog_00942的博客 499
上一篇: 从ReLU到GELU,一文概览神经网络的激活函数
下一篇: 统计学很无聊?谷歌统计学家带你证明
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值