标准化和归一化概念澄清与梳理

已于 2024-05-13 13:19:25 修改
阅读量1.8k 收藏 13
点赞数 5
CC 4.0 BY-SA版权
分类专栏： AIML笔记 付费专栏 文章标签： 标准化 归一化 Standardization Normalization 正规化
于 2023-01-16 08:30:14 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/bluishglc/article/details/128696871
本文澄清了特征缩放中标准化和归一化的混淆概念。标准化（Standardization）是明确的算法，涉及减去均值并除以标准差。归一化（Normalization）则是一个广义术语，可能指代最大最小值缩放或范数缩放。两者在数据预处理中扮演重要角色，理解其差异有助于避免误解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。
标准化和归一化是特征缩放(feature scalingscaling)的主要手段，其核心原理可以简单地理解为：让所有元素先减去同一个数，然后再除以另一个数，在数轴上呈现的效果就是：先将数据集整体平移到有某个位置，然后按比例收缩到一个规定的区间内（范数归一化除外）。各种特征缩放手段的不同之处在于：他们减去和除以的数字不同，这决定了它们平移后的位置和缩放后的区间。特征缩放的目的是去除数据单位（量
了解本专栏 订阅专栏 解锁全文
Sklearn标准化和归一化方法汇总(1)：标准化 / 标准差归一化 / Z-Score归一化
Laurence的技术博客
01-17 5584
标准化 / 标准差归一化 / Z-Score归一化的算法是：先求出数据集（通常是一列数据）的均值和标准差，然后所有元素先减去均值，再除以标准差，结果就是归一化后的数据了。经标准差归一化后，数据集整体将会平移到以0点中心的位置上，同时会被缩放到标准差为1的区间内。要注意的是数据集的标准差变为1，并不意味着所有的数据都会被缩放到[-1,1]之间，下文有示例为证。
Sklearn标准化和归一化方法汇总(2)：Min-Max归一化
Laurence的技术博客
01-17 5716
Min-Max归一化的算法是：先找出数据集通常是一列数据）的最大值和最小值，然后所有元素先减去最小值，再除以最大值和最小值的差，结果就是归一化后的数据了。经Min-Max归一化后，数据集整体将会平移到[0,1]的区间内，数据分布不变。
归一化和标准化概念
Leiroy的博客
12-14 205
https://blog.youkuaiyun.com/u014381464/article/details/81101551?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant_t0.none-task-bl
标准化/归一化
缘 源 园
03-07 425
数据标准化是一个常用的数据预处理操作，目的是处理不同规模和量纲的数据，使其缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响。 标准化（Z-Score） Z-Score标准化是基于原始数据的均值和标准差进行的标准化，假设原转换的数据为x，新数据为x′，那么x'=(x-mean)/std，其中mean和std为x所在列的均值和标准差。 这种方法适合大多数类型的数据，也是很多工具的默认标准化方法。标准化之后的数据是以0为均值，方差为1的正态分布。但是Z-Score方法是一种中心化方法，会
归一化（Normalization）
热门推荐
weixin_49346755的博客
10-17 4万+
归一化是一种数据处理方式，能将数据经过处理后限制在某个固定范围内。归一化存在两种形式，一种是在通常情况下，将数处理为 [0, 1] 之间的小数，其目的是为了在随后的数据处理过程中更便捷。例如，在图像处理中，就会将图像从 [0, 255] 归一化到 [0, 1]之间，这样既不会改变图像本身的信息储存，又可加速后续的网络处理。其他情况下，也可将数据处理到 [-1, 1] 之间，或其他的固定范围内。另一种是通过归一化将有量纲表达式变成无量纲表达式。那么什么是量纲，又为什么需要将有量纲转化为无量纲呢？
标准化归一化方法
weixin_48888528的博客
04-12 2155
为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性；
数据预处理方法—数据标准化和数据归一化
2301_80151359的博客
09-21 8255
数据标准化，数据归一化
Sklearn标准化和归一化方法汇总(3)：范数归一化
Laurence的技术博客
01-18 2629
范数归一化的计算逻辑是：先计算出一个向量（通常是一行）的范数（如无特殊说明，通常都是指L-2范数），然后让向量中的每一个元素除以这个范数，得到的新向量就是范数归一化后的结果。所以，了解范数归一化的原理关键是要理解：什么是范数？我们已经在此前以前文章中专门做了介绍，请参考《范数的意义与计算方法》一文。
【科学文献计量】pybibx论文原文精读与对照翻译
lys_828的博客
10-08 1950
文献计量和科学计量分析为复杂的研究领域和跨不同学科的协作动态提供了宝贵的视角。本文介绍了 pyBibX，这是一个 Python 库，旨在对来自 Scopus、Web of Science 和 PubMed 的原始数据文件进行全面的文献计量和科学计量分析，将最先进的人工智能 (AI) 功能无缝集成到其核心功能中。pyBibX可执行全面的探索性数据分析 (EDA)，通过视觉上吸引人的图形插图呈现结果。网络功能已被巧妙地集成，包括引文、协作和相似性分析。
深度学习基础笔记——归一化
MengYa_Dream的博客
08-16 1万+
Batch Normalization BN 1 归一化概念 2 归一化作用 归一化为什么能提高求解最优解速度3D 图解未归一化 局部响应归一化作用及理解 3 归一化类型 线性归一化 标准差标准化非线性归一化 4 批归一化（Batch Normalization，BN）概念 5 批归一化算法流程及优点 6 批归一化和群组归一化 7Weight Normalization和Batch Normalization比较 【Batch Normalization使用场景】
4步带你了解什么是归一化！
AI_dataloads的博客
09-08 2万+
什么是归一化？归一化是一种常见的数据预处理技术，用于将数据转换为统一的比例范围，以消除不同变量之间的量纲差异。通过归一化，可以将数据映射到一个特定的范围，例如[0, 1]或[-1, 1]，使得不同特征或属性具有相似的数值范围。
【深度学习】数据归一化/标准化 Normalization/Standardization
神也在Cpoy
01-30 3867
归一化后的数据范围为 [-1, 1]，其中mean、min、max为样本数据的平均值、最小值和最大值。归一化后的数据范围为 [0, 1]，其中min max分别求样本数据的最小值和最大值。归一化后的数据范围为实数集，其中mean、σ 分别为样本数据的均值和标准差。海拔越高、氧气含量越低，因为数据范围的原因，导致两者的相关性展示得不明显。归一化，指将数据样本中的数据进行处理，使它们处于同一量级。的最小整数，归一化后的数据范围为 [-1, 1]：经过处理的数据呈均值为0，标准差为1的分布。
归一化处理
qq_45786156的博客
06-28 3167
对全连接层的归一化处理 对卷积层做批量归一化 对卷积层来说，批量归一化发生在卷积计算之后、应用激活函数之前。如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数，并均为标量。设小批量中有 ???? 个样本。在单个通道上，假设卷积计算输出的高和宽分别为 ???? 和 ???? 。我们需要对该通道中 ????×????×???? 个元素同时做批量归一化。对这些元素做标准化计算时，我们使用相同的均值和方差，即该通道中 ????×????×???? 个元素的均
数据无量纲化 学习（1）：三种常用数据缩放方法的对比：StandardScaler、MinMaxScaler、RobustScaler
人生是一场修行
04-03 3719
数据的无量纲化可以是线性的，也可以是非线性的。线性的无量纲化包括中心化（Zero-centered或者Mean-subtract - 缩放到均值为0，方差为1（Standardization——StandardScaler()） - 缩放到0和1之间（Standardization——MinMaxScaler()） - 缩放到-1和1之间（Standardization——MaxAbsScaler()） - 缩放到0和1之间，保留原始数据的分布（Normalization——Normalizer()）
均值方差归一化（Standardization）
Rolandxxx的博客
08-25 1万+
首先减去均值就相当于把数据分布进行平移，即改变平均值。使数据的平均值都为0。这样并不会改变数据分布中各个点之间的距离。然后因为标准差可以理解为平均每个点距离平均值的距离，除以标准差就相当于以前平均每个点距离0的距离为S，现在变成了1。这样的话，对于数据中每个点的所有特征维度距离0的量纲就保持一致了。最后数据就都为均值为0，方差为1的正态分布了。英文也叫作Z-score Normalization，它是把所有数据归到均值为0，方差为1的分布中。即确保最终得到的数据均值为0，方差为1。...
标准化和归一化
weixin_63681863的博客
11-06 1644
标准化通常用于数据的分布（均值和方差）需要调整的情况，适用于许多机器学习算法，特别是当数据分布不均或尺度差异较大时。归一化通常用于数据的范围（最小值和最大值）需要调整的情况，适用于神经网络等要求数据输入在一定范围内的算法。标准化和归一化不需要同时使用，通常可以根据具体的任务选择其中之一。如果数据已经经过标准化，通常不需要再进行归一化，反之亦然。
数据缩放方法总结
棒子皮蹦蹦床
03-23 1万+
  一、标准化（Z-Score），或者去除均值和方差缩放 标准分数（standard score）也叫z分数（z-score）,是一个分数与平均数的差再除以标准差的过程。用公式表示为：z=(x-μ)/σ。其中x为某一具体分数,μ为平均数，σ为标准差。 Z值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算。在原始分数低于平均值时Z则为负数，反之则为正数。 标准分数的作用和特点: 标...
标准化与归一化的差异
neweastsun的专栏
04-17 2719
本文介绍统计学中标准化与归一化方法，包括计算公式和应用场景，以及两者的差异。 两者计算公式 标准化(Standardization) 和 归一化(normalization) 是数据缩放的两种方法. 标准化缩放数据集为均值为0，标准化差为1，使用下面的公式： xnew_{new}new​ = (xi_{i}i​ – μ) / σ xi_{i}i​ 是数据集中第i个值 μ 为样本均值 σ 样本标准差 归一化缩放数据集，让每个元素落在0~1之间，使用下面公式： xnew_{new}new​ = (xi_.
机器学习之归一化（Normalization）
Daisy_HJL的博客
10-13 1万+
一、定义 数据标准化（Normalization），也称为归一化，归一化就是将你需要处理的数据在通过某种算法经过处理后，限制将其限定在你需要的一定的范围内。 数据标准化处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要对数据进行归一化处理，解决数据指标之间的可比性问题。 二、优点 如上面所说，数据归一化
yolo11图像预处理讲解
最新发布
03-23
<think>嗯，用户想了解YOLOv11的图像预处理方法或教程。不过，我首先需要确认YOLOv11是否真的存在。因为根据现有的资料，YOLO系列的最新版本是YOLOv8，而YOLOv7和YOLOv5也有较多的讨论。用户提到的YOLOv11可能是一个笔误，或者是未来可能发布的版本，但目前并没有官方信息支持这一点。因此，我应该首先指出这一点，避免误导用户。 接下来，用户的真实需求可能是想了解最新的YOLO版本的图像预处理方法，或者他们可能误将版本号写错。无论是哪种情况，我需要提供现有版本的预处理方法，比如YOLOv5、v7、v8，因为这些版本的处理步骤通常是相似的，而且用户提供的引用资料中也提到了这些版本的相关内容。 在回答时，我应该先澄清版本问题，然后详细说明通用的图像预处理步骤，比如归一化、调整大小、数据增强等，并结合用户提供的参考资料中的信息。例如，引用[3]提到了YOLOv5的预处理和后处理流程，包括使用CUDA核函数进行高性能实现，这可能对用户有帮助。 此外，用户可能需要具体的代码示例或教程链接。虽然我无法提供外部链接，但可以指导他们查阅官方文档或GitHub仓库，比如YOLOv5的官方资源。同时，结合用户提到的Roboflow数据集网站，可以建议他们使用该工具进行数据预处理，如数据增强和格式转换，这也符合引用[1]的内容。 需要确保回答结构清晰，分步骤解释预处理方法，并指出不同版本之间的可能差异。同时，生成的相关问题要围绕YOLO的预处理、优化方法、工具使用等，帮助用户进一步探索。</think>关于YOLOv11图像预处理的方法，需要特别说明的是：目前（截至2024年7月）YOLO系列官方最新版本是YOLOv8，尚未有官方发布的YOLOv11版本。以下为您梳理YOLO系列通用的图像预处理方法及最新版本的实现细节： ### 一、YOLO图像预处理核心步骤 1. **归一化处理** - 将像素值从$[0,255]$缩放到$[0,1]$范围 - 计算公式：$$ x_{norm} = \frac{x_{orig}}{255} $$ 2. **图像尺寸调整** - 保持长宽比进行resize，填充灰边至标准尺寸（如640x640） - 使用双线性插值保持图像质量[^3] 3. **色彩空间转换** - RGB到HSV空间转换（用于色相、饱和度调整） - 亮度对比度自适应增强 4. **数据增强策略** - Mosaic增强：4图拼接训练 - 随机翻转、旋转、裁剪 - 混合模糊（MixUp）和遮挡（CutOut）[^1] ### 二、具体实现参考（以YOLOv5为例） ```python def preprocess(img, img_size=640): # 保持长宽比resize shape = img.shape[:2] # 当前尺寸 [height, width] ratio = min(img_size/shape[0], img_size/shape[1]) new_shape = (int(round(shape[1]*ratio)), int(round(shape[0]*ratio))) # 填充灰边 dw = img_size - new_shape[0] dh = img_size - new_shape[1] top, bottom = dh//2, dh-(dh//2) left, right = dw//2, dw-(dw//2) # 应用变换 img = cv2.resize(img, new_shape, interpolation=cv2.INTER_LINEAR) img = cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, value=(114,114,114)) # 归一化并转换张量格式 img = img.transpose((2,0,1))[::-1] # HWC to CHW, BGR to RGB img = np.ascontiguousarray(img) return img/255.0 ``` ### 三、推荐学习资源 1. 使用Roboflow进行自动化预处理： - 支持在线标注、格式转换和数据增强 - 可直接导出YOLO格式数据集 2. 高性能实现方案： - 使用CUDA核函数加速预处理（参考YOLOv5实现） - 采用TensorRT进行预处理-推理-后处理全流程优化
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值