归一化数学原理

最新推荐文章于 2025-04-15 11:54:45 发布
原创 最新推荐文章于 2025-04-15 11:54:45 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#归一化 #MinMaxScaler #python

本文详细解释了如何通过数学公式将数据集中的数值归一化到0到1之间的过程。利用一元方程组y=ax+b，求解出转换系数a和b，最终得到归一化公式y=(x-min)/(max-min)。这是机器学习中常用的数据预处理方法。
部署运行你感兴趣的模型镜像

归一化数学原理

min为某一列数据中的最小值，max为某一列数据中的最大值。
我的目的是将该列中的最小值转化为0，该列中的最大值转化为1。那么可以使用一元方程组y=ax+b进行转换,并写成如下形式：
0=min·a+b
1=max·a+b
解得a=1/(max-min)
b=-min/(max-min)
结果：
y=1/(max-min)·x-min/(max-min)=x-min/(max-min)

python中的MinMaxScaler()所做的变换即为x-min/(max-min)

您可能感兴趣的与本文相关的镜像

Dify

Dify

AI应用
Agent编排

Dify 是一款开源的大语言模型（LLM）应用开发平台，它结合了 后端即服务(Backend as a Service) 和LLMOps 的理念，让开发者能快速、高效地构建和部署生产级的生成式AI应用。 它提供了包含模型兼容支持、Prompt 编排界面、RAG 引擎、Agent 框架、工作流编排等核心技术栈，并且提供了易用的界面和API，让技术和非技术人员都能参与到AI应用的开发过程中

AIGC实战——归一化流模型(Normalizing Flow Model)
盼小辉丶的博客
02-05 1万+
归一化流模型是由神经网络定义的可逆函数，通过变量变换，直接对数据密度函数进行建模。在一般情况下，变量变换方程需要计算高度复杂的雅可比行列式，但这并不实际。为了解决这一问题，RealNVP 模型限制了神经网络的形式，使其满足两个基本条件：可逆性和易于计算的雅可比行列式。
标准化和归一化概念澄清与梳理
Laurence的技术博客
01-16 2076
由于翻译和命名上的歧义性以及各种误传误用，特征缩放领域里的术语和概念非常混乱，包括：标准化、正规化、正则化、归一化、Standardization、Normalization在内的这些概念既有关联又有差异，再加上它们的原始出处已基本都不可考，所以被大量混用和滥用，在一些劣质文章中会经常看到张冠李戴或相互矛盾的说法。本文我们会尽量结合字面含义和多数资料的描述，对这些概念做一轮梳理。
关于归一化的数学原理
guangwulv的博客
07-23 2608
有时候我们需要对数据范围进行归一化，比如灰度归一化等。 那么归一化背后的数学推导和原理是什么呢？ 我们需要将左边的范围“归一化”至右边的范围，反之亦然。 左边： min=b; max=a; range_zuo=a-b; 右边： min=d; max=c; range_zuo=c-d; 如何保证左边归至右边的过程是等比例的呢？ 即：已知初始范围中的a1数值，映射到最终范围的x为？ 解释： a1∈[b,a]，a1在b~a之中，b为最小值，a为最大值。(a1-b)/(a-b)表示b到a1的长度占整个初始范
数据归一化原理
thxiong1234的博客
08-21 4796
1、min_max方法： 公式很简单(x - min) / (max - min)，一般用于处理有确切上下界样本。 2、z_score方法： 公式为：x* = (x - μ ) / σ，假设样本服从正态分布，一般用于处理无界且有均值的样本。 上述两种方法最常见的归一化方法，但预测数据可能大于max，或者小于min；或者不符合以前的均值方差，会造成一定误差。 3、非线性变换： logis...
深度探索：机器学习中的批量归一化（Batch Normalization）技术原理及其应用
qq_51320133的博客
04-25 2108
批量归一化作为深度学习中的关键优化技术，有效改善了模型的训练过程，提升了模型性能和泛化能力。然而，随着研究的深入，未来仍有诸多值得探索的方向，比如如何在小批量大小下保证BN的有效性，以及开发更加适应不同任务和场景的新一代归一化方法等。尽管面临一些挑战，但批量归一化无疑为深度学习的发展开辟了新的道路，也为未来的机器学习研究提供了丰富的启示。
【深度学习/机器学习】为什么要归一化？归一化方法详解
热门推荐
Danger的博客
02-17 1万+
【深度学习/机器学习】为什么要归一化？归一化方法详解
正则化、归一化含义解析
bestlinjialyin的专栏
03-03 1433
原文地址 http://sobuhu.com/ml/2012/12/29/normalization-regularization.html 正则化（Regularization）、归一化（也有称为正规化/标准化，Normalization）是对数据尽心预处理的方式，他们的目的都是为了让数据更便于我们的计算或获得更加泛化的结果，但并不改变问题的本质，下面对他们的作用分别做一下科普，如有不正确之处
深入理解数据归一化：原理、方法和应用
qq_56683019的博客
02-26 1657
归一化是数据预处理中的一个重要步骤，能够显著提高模型的训练速度和稳定性。选择适合的数据归一化方法可以帮助我们更好地处理数据，提高模型的精度。不同场景下可以选择不同的归一化方法，根据数据的分布特点进行选择。希望本篇博客能够帮助你更好地理解数据归一化，并在实际项目中灵活应用！
matlab的pca为什么要零均值化,特征归一化特性及其数学原理推导
weixin_42513387的博客
03-24 2312
前言买了本《百面机器学习》看着玩，虽然已经毕业了，机器学习还是放不下吧，希望以后新的机会出现能够及时抓住。书中第一章「特征工程」的“01 特征归一化”(第002-003页)提到：对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。最常用的方法主要有以下两种。(1)线性函数归一化(Min-Max Scaling)。它对原始数据进行线性变换，使结果映射到[0, 1]的范围，实现对...
最大最小值归一化原理、实现与应用详解
qq_57063846的博客
02-09 3064
最大最小值归一化（Min-Max Normalization）是一种简单而有效的方法，它将数据线性映射到[0, 1]区间内。这种方法的核心思想是消除数据特征间的量纲差异，使得不同特征的数值范围一致，从而提升机器学习模型的训练效率和精度。最大最小值归一化是数据预处理的基础步骤，能有效提升模型性能，但对离群值敏感。在实际应用中，需要结合数据特点选择合适的归一化方法，必要时配合异常检测技术。通过手动实现或调用工具，均可轻松完成归一化操作。
数据标准化 归一化方法总结
01-11
数据归一化方法和原理总结 matlab 中的归一化处理有三种方法 1. premnmx、postmnmx、tramnmx 2. restd、poststd、trastd 3. 自己编程 (1)线性函数转换，表达式如下： y=(x-MinValue)/(MaxValue-MinValue) 说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。 (2)对数函数转换，表达式如下： y=log10(x) 说明：以10为底的对数函数转换。 (3)反余切函数转换，表达式如下： y=atan(x)*2/PI (4)一个归一化代码. I=double(I); maxvalue=max(max(I)');%max 在把矩阵每列的最大值找到，并组成一个单行的数组，转置一下就会行转换为列，再max就求一个最大的值，如果不转置，只能求出每列的最大值。 f = 1 - I/maxvalue; %为什么要用1去减？ Image1=f;
特征归一化及其原理--机器学习
weixin_42367888的博客
12-29 1195
特征归一化及其原理--机器学习
五种归一化原理及实现
hxhabcd123的博客
08-04 2385
本文介绍五种归一化的API实现，以及手写实现其原理，并比较了二者的结果
归一化（normalization）
幼儿园大哥~
07-04 5060
通过以上归一化过程，每个输入序列被转换为均值为0，方差为1的标准正态分布，这使得模型在处理不同序列时能够更好地学习数据规律，减弱非平稳性对模型的影响。归一化后的公式x−1μx⊤σxx−1μx⊤​σx​充分考虑了时间序列数据的特性，通过平移和缩放操作，使得数据的分布更加稳定，有利于模型训练和预测的准确性。
万字长文！一文了解归一化：从Transformer归一化到主流大模型归一化的演变！
最新发布
Android23333的博客
04-15 1665
自Transformer架构被提出来之后，人们一直都在对Transformer架构进行更改，例如：从正余弦位置编码旋转位置编码RoFE、从多头Attention到DeepSeek的MLA、从前馈神经网络到当前的MoE架构等。 而归一化（Normalization）在整体Transformer架构中并没有做太多的改进，但它对模型能否顺利训练，却有着很关键的作用。本文将带你一文了解归一化（Normalization），包括其背景、种类、Transformer归一化及源码、大模型常见归一化、大模型归一化位置等。
火箭等运载器动力学方程归一化过程
鲁鹏的博客
07-16 1946
火箭等运载器动力学方程归一化过程 鲁鹏 北京理工大学 2019.03.20 本文提到的归一化（normalization）是指：将有量纲的表达式，经过变换，化为无量纲的表达式。 火箭着陆 火箭着陆动力学方程平面内分量如下[1] (1)r˙=Vsin⁡γ \dot{r} = V\sin{\gamma} \tag{1} r˙=Vsinγ(1) (2)s˙=Vcos⁡γ \dot{s} = V\cos...
数据归一化
chiqi1020的博客
10-20 371
归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，转换为无量纲的表达式，称为标量，归一化是机器学习的一项基础工作。 归一化方法有两种形式： 一种是把数变为（0, 1）之间的小数。 一种是把量纲表达式变为无量纲表达式。 在统计...
数学归一化的思想
影子
04-10 3565
概念： 1、 把数变为（0，1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。2、 把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R) ，...
归一法的计算方法讲解_数学归一法是什么能举个具体例子吗
weixin_39881958的博客
12-21 6578
展开全部归一化方法有两种形式，一种是把数变为(0，1)之间的小数，一种是把有量纲表达62616964757a686964616fe59b9ee7ad9431333431353337式变为无量纲表达式。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。例：{2.5 3.5 0.5 1.5}归一化后变成了{0.3125 0.4375 0.062...
图像归一化原理
03-30
### 图像归一化的数学原理 图像归一化是一种常见的预处理技术，主要用于调整图像像素值的范围，使其更适合后续的分析或建模过程。这一过程可以通过不同的方法实现，每种方法都有其独特的数学基础和适用场景。 #### 数学公式与核心原理 1. **线性归一化** 线性归一化是最简单的归一化方式之一，它通过缩放像素值使它们落在指定区间内（通常是[0, 1]）。假设输入图像的最小值为 \( \text{min} \)，最大值为 \( \text{max} \)，则任意像素值 \( V \) 的归一化结果可表示为： \[ V_{\text{normalized}} = \frac{V - \text{min}}{\text{max} - \text{min}} \] 此外，在某些情况下，可能需要将归一化后的值重新映射到其他范围（如[-1, 1]），这可通过简单变换完成[^3]。 2. **标准差标准化** 标准差标准化的目标是将数据转换成符合标准正态分布的形式，即均值为 0，标准差为 1。对于一幅图像而言，所有像素值的平均值记作 \( \mu \)，标准差记作 \( \sigma \)，则任一像素值 \( V \) 可按如下公式进行标准化： \[ V_{\text{standardized}} = \frac{V - \mu}{\sigma} \] 这种方法特别适用于那些对数据分布敏感的应用场合，例如机器学习模型训练阶段[^4]。 3. **非线性归一化** 非线性归一化通常用于解决数据分化较大的问题，即将少数极端值的影响降到最低。典型的方法包括取对数、平方根或其他幂次运算。例如，采用自然对数形式时有： \[ V_{\text{nonlinear}} = \log(V + c) \] 其中 \( c \) 是一个小常数，用来防止当 \( V=0 \) 时发生未定义错误。这种技术适合于动态范围较广的数据集。 --- ### 应用场景 1. **提升分类器性能** 在许多基于距离度量的学习算法中（如 KNN 或 SVM），不同特征间的尺度差异可能导致不均衡的结果。通过对图像执行归一化操作，可以使各维度的重要性更加平衡，进而改善最终预测准确性。 2. **增强对比度** 使用线性归一化能够有效拉伸灰阶直方图，从而增加低对比度图片内的细节可见程度。这对于医学影像诊断等领域尤为重要[^1]。 3. **统一多源数据格式** 当从多个传感器获取图像并试图融合这些信息时，由于设备特性各异可能会造成数值体系混乱。此时应用全局一致性的归一化策略可以帮助消除此类干扰因素。 4. **加速收敛速度** 对神经网络来说，未经适当预处理的大规模原始数据往往会让梯度下降变得缓慢甚至陷入局部极小点。因此先做一次全面的归一化能显著促进优化进程顺利开展[^2]。 --- ### 示例代码 以下是利用 Python 和 OpenCV 实现基本线性归一化的例子： ```python import cv2 import numpy as np # 加载图像 image = cv2.imread('example.jpg', cv2.IMREAD_GRAYSCALE) # 执行归一化 (至 [0, 1]) norm_image = cv2.normalize(image.astype(float), None, 0.0, 1.0, cv2.NORM_MINMAX) # 显示原图与归一化后效果图 cv2.imshow("Original Image", image / 255.) cv2.imshow("Normalized Image", norm_image) cv2.waitKey(0) cv2.destroyAllWindows() ``` 上述脚本展示了如何读入一张灰度照片并通过 `cv2.normalize` 函数将其压缩进单位区间内显示出来。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值