深度学习样本归一化到[0,1]还是[-1,1]

最新推荐文章于 2024-10-31 15:46:00 发布
原创 最新推荐文章于 2024-10-31 15:46:00 发布 · 7.1k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讨论了神经网络输入样本归一化的两种常见方法：归一化到[0,1]和[-1,1]。根据实验经验，归一化后的数值沿原点对称能获得更好的效果，因此推荐将样本数据归一化到[-1,1]区间内。此外，文中还提到了与之相对应的双极性激活函数(tanh)可能比单极性激活函数(sigmoid)更优。
部署运行你感兴趣的模型镜像

一般，我们需要对神经网络的输入样本进行归一化，通常有多种选择，比如归一化到[0,1]，或归一化到[-1,1]。

这两种方法，哪种归一化方法更好呢？还是没有区别。

现在的实验经验，一般归一化后的数值沿原点对称最好，即归一化到[-1,1]可以期待取得更好的效果。

因此，推荐在归一化时，把样本数据归一化到[-1,1]，或者其他相对于原点对称的范围。

对应的，似乎使用双极性激活函数(tanh)优于单极性激活函数(sigmoid),因为tanh的激活值范围[-1,1]，而sigmoid的激活值范围是[0,1]

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

wzg2016
关注
深度学习笔记——归一化、正则化
haopinglianlian的博客
11-21 3111
本笔记介绍深度学习中常见的归一化、正则化。
三、深度学习基础6（归一化）
myani的博客
04-26 2211
归一化含义 归一化的具体作用是归纳统一样本的统计分布性。归一化在 0-1 之间是统计的概率分布，归一化在-1--+1 之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，且 sigmoid 函数的取值是 0 到 1 之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。归一化是统一在 0-1 之间的统计概率分布，当所有样本的输入信号都为正值时，与第一隐含层神经元.
训练数据归一化为(0,1)还是(-1,1)？
weixin_47032489的博客
12-10 1670
在跑UNet时，我将图像输入归一化为(-1,1)，激活函数用的Relu，网络学不到东西。我的经验是，用diffusion model做生成任务时，将图像输入归一化为(-1,1)，应该也是因为噪声通常是均值为零的对称分布(还没考证)。数据的范围：如果数据的取值范围主要集中在非负数或者非正数区间，那么归一化到（0,1）范围更合适。数据的对称性：如果数据存在负数值，并且对称性很重要，那么归一化到（-1,1）范围更适用。（我做实验将图像归一化为(0,1)，用Relu也不行，不知道啥原因了）
【知识点】神经网络输入归一化区别：[0, 1]和[-1, 1]
weixin_44138265的博客
06-08 7633
1 前置知识 1.1 ReLU的单侧抑制 参考：RELU的单侧抑制 单侧抑制含义：relu的曲线是一个折线，在小于0的部分一直为0，而在大于0的部分是一条斜率为1的直线。 单侧抑制的优点：使得部分神经元可能输出为0，相当于在本次优化中，一些神经元不参与，进而破坏了全部神经元联动优化的陷阱，使得模型更加的鲁棒。 所谓破坏联动优化陷阱，我的理解是类似于Dropout（如果模型参数过多，而训练样本过少，容易陷入过拟合。过拟合的表现主要是：在训练数据集上loss比较小，准确率比较高，但是在测试数据上loss比较大
归一化、标准化、中心化
你的博客
05-19 5235
一、概念 归一化：把数据变成 [0,1] 或 [-1,1] 之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。是一种简化计算的方式，将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量，便于不同单位或量级的指标能够进行比较和加权。 标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素值，这些资料可能是高维度的，资料标准化后会使每个...
深度学习中对输入数据进行归一化操作
liguandong
03-11 1万+
归一化操作是深度学习模型输入数据之前要进行一项很重要的操作。在不同的评价指标中，量纲单位往往不同，变化区间处于不同的数量级，若不进行归一化，会导致某些指标被忽视，从而影响到数据分析的结果。归一化本身就是把你需要的数据经过一定的处理限制在一定的范围内。在统计学上，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1,1之间是统计的坐标分布。在Inception...
深度学习_深度学习基础知识_数据归一化
欢迎大家关注我
03-22 5838
归一化的主要公式 1.将数据归一到[0,1]： x′=x−min(x)max(x)−min(x)x^{\prime} =\frac{x - min(x)}{max(x)-min(x)} x′=max(x)−min(x)x−min(x)​ 其中max(x)max(x)max(x)和min(x)min(x)min(x)分别是数据的最大值和最小值。 2.将数据归一化到[-1,1]： x′=x−mean(...
深度学习之归一化
weixin_43775295的博客
10-31 1628
​ 以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过 $ \sigma(WX+b) $ 这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。​ 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。
深度学习中归一化的方法
LIN2020LOVEDA的博客
08-02 2187
它通过减去均值，再除以标准差，将每个组的特征维度转化为均值为0，标准差为1的分布。深度学习中常用的归一化方法有：最大最小归一化（Min-Max Scaling）、Z-score归一化（Standardization）、小数定标归一化（Decimal Scaling）、批量归一化（Batch Normalization，BN）、层归一化（Layer Normalization，LN）、实例归一化（Instance Normalization，IN）和组归一化（Group Normalization，GN）。
深度学习中基于根均方统计的层归一化方法-RMSNorm的提出及其应用
最新发布
02-02
内容概要：本文介绍了一种新的正则化方法 —— 根均方层归一化（RMSNorm），该方法旨在克服传统LayerNorm引入计算复杂度的瓶颈。研究表明，RMSNorm通过仅采用输入的平方和根进行规范化而不进行重中心化操作，从而...
python将数据归一到[-1,1]之间
weixin_45414380的博客
01-09 1万+
参考：https://blog.youkuaiyun.com/sinat_33761963/article/details/53433799 将数据归一到[-1,1]之间 代码 from sklearn import preprocessing import numpy as np from pandas import DataFrame a=[] for i in range(-5,5): ...
深度学习归一化和标准化
qq_43369406的博客
02-26 4900
在深度学习中，归一化可以是将数据转换为均值为 0，标准差为 1 的分布（即 z-score 归一化），也可以是将数据缩放到一定的范围内，比如 [0,1] 或 [-1,1]。在进行数据预处理的时候一般会使用标准化的方式，即先进行min-max归一化放缩到[0, 1]，再进行z-score归一化放缩到均值为0，方差为1标准正态分布。通过深度学习标准化，可以使得输入数据的分布更加符合深度学习模型的假设，提高模型的泛化能力和鲁棒性，有利于加快模型的训练速度和提高模型的准确性。
深度学习-归一化
mouMshi的专栏
12-17 509
归一化 归一化意义：无论机器学习还是深度学习，使用哪一种框架，归一化都是必要环节。归一化的目标是将每一维特征压缩到一定范围之内，以免不同特征因取值范围不同而影响其权重。非常大或非常小的值搭配上不恰当的学习率，往往使得收敛过慢，或者因每次调整的波动太大最终无法收敛。归一化去除了这些不稳定因素。 归一化方法： ...
【无聊问题之】归一化一定要归到一吗
YHKKun的博客
03-23 1843
还是先说答案：当然不是( ´Д｀)归一化（Normalization）并不一定要将数据严格归一到1。归一化是一个将数据调整到特定范围的过程，通常这个范围是[0, 1]或[-1, 1]，但也可以根据具体需求选择其他范围。重要的是，归一化的目的是消除数据的量纲影响，使不同特征或指标之间具有可比性。如标准化（Standardization），它将数据转换为均值为0，标准差为1的分布。这种方法并不将数据限制在[0, 1]的范围内，但它同样实现了数据的尺度统一。
如何归一化到（-1，1）
weixin_44316581的博客
01-14 1万+
搜了好久可以归一化到-1到1范围内的代码，不知道为什么一直没搜到，于是上传两行亲测有效的代码。 x = x - np.mean(x) x = x / np.max(np.abs(x))
【笔记2-5】李宏毅深度强化学习笔记（五）Sparse Reward
cindy_1102的博客
02-27 4794
李宏毅深度强化学习- Sparse RewardReward ShapingCurriculum LearningHierarchical Reinforcement Learning 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 笔记更新中： 李宏毅深度强化学习笔记（一）Outline 李宏毅深度强化学习笔记（二）Proximal...
仅使用numpy库实现[-1,1]的归一化
holiey的博客
04-17 1458
使用numpy库来实现[-1,1]的归一化
MATLAB 归一化 函数用法以及实例
热门推荐
liuxiabing150的专栏
08-02 2万+
原文地址：http://jingyan.baidu.com/article/48b37f8d649ce31a646488e9.html 在用MATLAB进行各种回归运算以及矩阵运算中，为了避免不同数量级的数字之间相互影响，防止大数吃小数等情况，我们需要对其进行归一化，下面我们就介绍几种常用的归一化方法，并通过实例进行介绍。 工
数据的归一化
wyqwilliam的博客
09-04 1969
归一化数据 老虎数量  麻雀数量  是否污染  2 50640 1 3 55640 0 1 62020 0 0 5...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值