深度学习中归一化的方法

原创 已于 2024-08-03 01:22:15 修改 · 2.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #算法

于 2024-08-02 03:19:04 首次发布

深度学习中常用的归一化方法有：最大最小归一化（Min-Max Scaling）、Z-score归一化（Standardization）、小数定标归一化（Decimal Scaling）、批量归一化（Batch Normalization，BN）、层归一化（Layer Normalization，LN）、实例归一化（Instance Normalization，IN）和组归一化（Group Normalization，GN）。

  1. 最大最小归一化（Min-Max Scaling）：将数据缩放到一个指定的最小值和最大值之间。对于每个特征，它将原始值减去最小值，并除以最大值与最小值之差。这种方法将数据线性映射到[0,1]范围内。这种归一化方法适用于特征值分布有确定的上下界的情况，如图像像素值等。例如，将图像的像素值从0-255范围归一化到0-1范围。

  2. Z-score归一化（Standardization）：通过减去均值，再除以标准差，将数据转化为标准正态分布。这种方法假设数据服从正态分布，将数据减去均值后，均值为0，标准差为1。Z-score归一化适用于特征值分布无特定上下界的情况，例如文本数据中的词频。例如，将NLP任务中的词频向量进行Z-score归一化。

  3. 小数定标归一化（Decimal Scaling）：将数据除以10的幂次，使得数据的绝对值都小于1。这种方法不需要知道数据的分布情况，适用于特征值分布无特定上下界的情况。例如，将一个图像的像素值除以255，将其范围归一化到0-1。

  4. 批量归一化（Batch Normalization，BN）：在神经网络的每一层中，对每个mini-batch的输入进行归一化处理。它通过减去均值，再除以标准差，将输入数据转化为均值为0，标准差为1的分布。这样可以加速网络的训练过程，同时可以防止梯度消失或爆炸的问题。例如，在图像分类任务中，对于每个卷积层或全连接层的输出进行批量归一化。

  5. 层归一化（Layer Normalization，LN）：与批量归一化类似，但是在层归一化中，每个样本的特征维度上进行归一化。它通过减去均值，再除以标准差，将每个样本的

最低0.47元/天 解锁文章
深度学习笔记——归一化、正则化
haopinglianlian的博客
11-21 3085
本笔记介绍深度学习中常见的归一化、正则化。
三、深度学习基础6（归一化）
myani的博客
04-26 2203
归一化含义 归一化的具体作用是归纳统一样本的统计分布性。归一化在 0-1 之间是统计的概率分布，归一化在-1--+1 之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，且 sigmoid 函数的取值是 0 到 1 之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。归一化是统一在 0-1 之间的统计概率分布，当所有样本的输入信号都为正值时，与第一隐含层神经元.
深度学习：归一化
小马哥的博客
02-24 922
深度学习中的归一化 批量归一化 自归一化网络 主要内容与结构 主要内容：归一化问题 结构： 深度模型的激活函数 激活函数导致的梯度消失 sigmoid tanh relu ELU 批量归一化 层输出对下一层的影响 每一层的梯度都与来自前一层的输入有关。避免梯度消失 批归一化+仿射变换层（线性层）：防止将那些本该在平坦区域却被我们归一化变换到梯度不平坦的区域带来的影响；同时保持网络稳定（让输入...
深度学习归一化简介
qq_37982109的博客
03-30 814
我们假定数据输入的图像是[patch, width, height, channel] N：patch C：channel BN(批归一化)： 求出x的均值 求出x的方差 利用正态分布的标准化，使其服从标准正态分布 但是破坏原来的数据分布，所以需要第四步进行重构，gama 和 beta 是可以学习到的参数；当gama = std， beta = mean 就会恢复到原来的...
深度学习——归一化
Blalaaa的博客
09-24 3334
假设一个函数：健康=3✖️身高+2✖️体重（身高：m，体重：斤）现在给出一个例子：1.6m130斤的人1，1.9m129的人2按照函数计算，你会发现他们的健康值差不多，故需要进行统一数量级，排除单位的干扰。最小-最大归一化将原始数据缩放到一个指定的最小和最大值（通常是0到1或-1到1）之间。公式如下：x——当出现3m的人，按照此公式会一直保留异常值的影响。
深度学习的五种归一化方法（BN，LN，IN，GN和SN）
zihao_c的博客
10-22 1700
本篇文章参考https://blog.youkuaiyun.com/u013289254/article/details/99690730?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.add_param_isCf&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearn
深度学习之归一化
weixin_43775295的博客
10-31 1616
​ 以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过 $ \sigma(WX+b) $ 这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。​ 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。
深度学习批归一化及其相关算法研究进展.pdf
08-18
深度学习批归一化及其相关算法是近年来在深度神经网络训练中备受关注的技术，它们显著提高了模型训练的速度和精度。本文由刘建伟、赵会丹、罗雄麟和许鋆四位作者共同撰写，详细探讨了批归一化（BN）的原理、问题以及...
深度学习中基于根均方统计的层归一化方法-RMSNorm的提出及其应用
02-02
内容概要：本文介绍了一种新的正则化方法 —— 根均方层归一化（RMSNorm），该方法旨在克服传统LayerNorm引入计算复杂度的瓶颈。研究表明，RMSNorm通过仅采用输入的平方和根进行规范化而不进行重中心化操作，从而...
深度学习归一化方法[一] Batch Normalization
阿辉的博客
05-18 1440
文章目录Batch Normalization1. Batch Normalization原理2. Batch Normalization的效果及其证明3. 为什么要加$\gamma$,$\beta$ 论文: https://arxiv.org/pdf/1502.03167.pdf Batch Normalization 对模型的初始输入进行归一化处理，可以提高模型训练收敛的速度;对神经网络内层的...
深度学习特征归一化方法——BN、LN、IN、GN
风翼冰舟的博客
08-20 3639
前言 最近看到Group Normalization的论文，主要提到了四个特征归一化方法：Batch Norm、Layer Norm、Instance Norm、Group Norm。此外，论文还提到了Local Response Normalization(LRN)、Weight Normalization(WN)、Batch Renormalization(BR)。 国际惯例，参考博客： Gr...
[DeeplearningAI笔记]第二章1.9归一化normalization
泛用演化计算、通用人工智能优化模型
10-22 2565
觉得有用的话,欢迎一起讨论相互学习~Follow Me1.9 归一化Normaliation训练神经网络,其中一个加速训练的方法就是归一化输入(normalize inputs).假设我们有一个训练集,它有两个输入特征,所以输入特征x是二维的,这是数据集的散点图. 归一化输入需要两个步骤第一步-零均值化subtract out or to zero out the mean 计算出u即x(i)的均
深度学习中的归一化
Matt_sh的博客
07-21 3336
网络归一化以及NLP中的归一化记录
深度学习归一化笔记
weixin_57648437的博客
10-30 1702
3 总结。
深度学习笔记——归一化
haopinglianlian的博客
01-14 1141
本笔记介绍深度学习中常见的归一化。
深度学习归一化方法
AI爱好者的博客，分享计算机领域相关知识
03-09 7504
神经网络学习的本质就是学习数据的分布。如果没有对数据进行归一化处理，那么每一批次训练的数据的分布就有可能不一样。本文介绍了深度学习中常用的几种归一化方法，并且使用numpy实现了几种方法，相信一定能让你有所收获。
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 8338
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
【深度学习】归一化方法
sinat_36197913的博客
08-23 856
深度学习中的归一化方法综述Batch NormalizationInstance Normalization 综述 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Norm...
深度学习_深度学习基础知识_数据归一化
欢迎大家关注我
03-22 5783
归一化的主要公式 1.将数据归一到[0,1]： x′=x−min(x)max(x)−min(x)x^{\prime} =\frac{x - min(x)}{max(x)-min(x)} x′=max(x)−min(x)x−min(x)​ 其中max(x)max(x)max(x)和min(x)min(x)min(x)分别是数据的最大值和最小值。 2.将数据归一化到[-1,1]： x′=x−mean(...
深度学习 批量归一化
最新发布
10-15
批量归一化（Batch Normalization，BN）是深度学习中的关键优化技术，由 Sergey Ioffe 和 Christian Szegedy 在 2015 年提出，已成为现代神经网络架构的基石，解决了训练深度网络的关键挑战，特别是内部协变量偏移问题 [^2][^4]。 ### 原理 批量归一化的核心思想是对每一批次的输入数据进行归一化处理，将其调整为均值为 0、方差为 1 的标准正态分布。这样做可以缓解内部协变量偏移问题，使得模型训练更加稳定、高效，还能加速模型收敛，减少训练过程中的梯度消失或爆炸问题，增强模型的泛化能力，防止过拟合 [^2][^5]。 ### 应用 批量归一化有效改善了模型的训练过程，提升了模型性能和泛化能力，被广泛应用于各种深度学习架构和任务中。不过，随着研究的深入，未来仍有诸多值得探索的方向，比如如何在小批量大小下保证 BN 的有效性，以及开发更加适应不同任务和场景的新一代归一化方法等 [^2]。 ### 实现方法 在实际应用中，不同的深度学习框架都提供了批量归一化的实现函数。以 PyTorch 为例，以下是一个简单的实现示例： ```python import torch import torch.nn as nn # 定义一个包含批量归一化层的简单神经网络 class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc1 = nn.Linear(10, 20) self.bn1 = nn.BatchNorm1d(20) self.relu = nn.ReLU() self.fc2 = nn.Linear(20, 1) def forward(self, x): x = self.fc1(x) x = self.bn1(x) x = self.relu(x) x = self.fc2(x) return x # 创建模型实例 model = SimpleNet() # 模拟输入数据 input_data = torch.randn(32, 10) # 前向传播 output = model(input_data) print(output.shape) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值