为什么要进行数据归一化

ridge regression岭回归 岭回归用于处理下面两类问题: 1.数据点少于变量个数 2.变量间存在共线性 变量间存在共线性是,最小二乘回归得到的系数不稳定,方差很大,这是因为系数矩阵x与它的转置矩阵相乘得到的矩阵不能求逆,而ridge regression通过引入lamda参数,使得该问题得到解决。在R语言中,MASS包中的函数lm.ridge()可以很方便地完成。它的输入矩阵x始终为n*p维,不管是否包含常数项。 阅读详情

原文:https://medium.com/@urvashilluniya/why-data-normalization-is-necessary-for-machine-learning-models-681b65a05029

数据归一化常用于机器学习的预处理阶段,当数据集的特征间具有不同的值范围时,数据归一化是非常有必要的,数据归一化的目的是使特征具有相同的度量尺度。

比如数据集包含了两个特征,年龄(x1)和收入(x2)。年龄范围为0~100岁之间,收入范围为0~20000及以上,收入大约是年龄的1000倍。因此收入和年龄具有不同的范围,当对该数据构建多元线性回归模型时,收入对结果影响远远大于年龄的值,但是这和实际情况是不相符的,因为忽视了年龄对结果的影响。

为了进一步解释,我们构造两个神经网络模型:一个不使用归一化数据,另一个使用归一化数据,比较这两个模型的结果,并将展示归一化对模型准确性的影响。

原始数据集的前几行:

使用非归一化的原始数据集构建神经网络模型:

'''Using covertype dataset from kaggle to predict forest cover type'''
#Import pandas, tensorflow and keras
import pandas as pd
from sklearn.cross_validation import train_test_split
import tensorflow as tf
from tensorflow.python.data import Dataset
import keras
from keras.utils import to_categorical
from keras import models
from keras import layers
#Read the data from csv file
df = pd.read_csv('covtype.csv')
#Select predictors
x = df[df.columns[:54]]
#Target variable
y = df.Cover_Type
#Split data into train and test
x_train, x_test, y_train, y_test = train_test_split(x, y , train_size = 0.7, random_state =  90)
'''As y variable is multi class categorical variable, hence using softmax as activation function and sparse-categorical cross entropy as loss function.'''
model = keras.Sequential([
 keras.layers.Dense(64, activation=tf.nn.relu,
 input_shape=(x_train.shape[1],)),
 keras.layers.Dense(64, activation=tf.nn.relu),
 keras.layers.Dense(8, activation=  'softmax')
 ])

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
history1 = model.fit(
 x_train, y_train,
 epochs= 26, batch_size = 60,
 validation_data = (x_test, y_test))

输出结果为:

Output:
Epoch 1/26 406708/406708 [==============================]
- 19s 47us/step - loss: 8.2614 - acc: 0.4874 - val_loss: 8.2531 - val_acc: 0.4880
Epoch 2/26 406708/406708 [==============================]
- 18s 45us/step - loss: 8.2614 - acc: 0.4874 - val_loss: 8.2531 - val_acc: 0.4880
...............
Epoch 26/26 406708/406708 [==============================]
- 17s 42us/step - loss: 8.2614 - acc: 0.4874 - val_loss: 8.2531 - val_acc: 0.4880

模型的验证准确率仅仅为48.0%。

我们通过归一化数据集构建神经网络模型,通过对数据集去均值化以及将它缩放到单位方差来实现归一化。

数据集归一化代码:

from sklearn import preprocessing

df = pd.read_csv('covtype.csv')
x = df[df.columns[:55]]
y = df.Cover_Type

x_train, x_test, y_train, y_test = train_test_split(x, y , train_size = 0.7, random_state =  90)

#Select numerical columns which needs to be normalized
train_norm = x_train[x_train.columns[0:10]]
test_norm = x_test[x_test.columns[0:10]]

# Normalize Training Data
std_scale = preprocessing.StandardScaler().fit(train_norm)
x_train_norm = std_scale.transform(train_norm)

#Converting numpy array to dataframe
training_norm_col = pd.DataFrame(x_train_norm, index=train_norm.index, columns=train_norm.columns)
x_train.update(training_norm_col)
print (x_train.head())

# Normalize Testing Data by using mean and SD of training set
x_test_norm = std_scale.transform(test_norm)
testing_norm_col = pd.DataFrame(x_test_norm, index=test_norm.index, columns=test_norm.columns)
x_test.update(testing_norm_col)
print (x_train.head())

归一化数据集的前5行数据:

使用归一化数据集构建神经网络模型:

#Build neural network model with normalized data
model = keras.Sequential([
 keras.layers.Dense(64, activation=tf.nn.relu,
 input_shape=(x_train.shape[1],)),
 keras.layers.Dense(64, activation=tf.nn.relu),
 keras.layers.Dense(8, activation=  'softmax')
 ])

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
history2 = model.fit(
 x_train, y_train,
 epochs= 26, batch_size = 60,

输出结果为:

#Output:
Train on 464809 samples, validate on 116203 samples
Epoch 1/26 464809/464809 [==============================]
- 16s 34us/step - loss: 0.5433 - acc: 0.7675 - val_loss: 0.4701 - val_acc: 0.8022
Epoch 2/26 464809/464809 [==============================]
- 16s 34us/step - loss: 0.4436 - acc: 0.8113 - val_loss: 0.4410 - val_acc: 0.8124 Epoch 3/26
....................
Epoch 26/26 464809/464809 [==============================]
- 16s 34us/step - loss: 0.2703 - acc: 0.8907 - val_loss: 0.2773 - val_acc: 0.8893

模型验证集的准确率达到了88.9%,远比非归一化数据集构建的模型要好。

用图比较两个模型:

结果:由上面图标可知,模型1(左1)由很低的验证准确率(48%),当迭代次数增加时,模型的训练准确率和验证准确率均没有提高,模型2(右1)的训练准确率和验证准确率随着迭代次数的增加均有一定程度的提高。

原因分析:若特征间具有不同的值范围时,因此梯度更新时,会来回震荡,经过较长的时间才能达到局部最优值或全局最优值。为了解决该模型问题,我们需要归一化数据,我们确保不同的特征具有相同的值范围,这样梯度下降可以很快的收敛。从右1的图表可知,准确率随着迭代次数的增加而提高,当迭代次数为26时,准确率达到了88.93%。

欢迎扫码关注:

Numpy之数据归一化 不同的量纲可能会影响数据的观察 解决方案: 将所有的数据映射到同一尺度 最值归一化: 把所有的数据映射到0-1之间 适用于有明显边界的情况,受Outlier影响大 均值方差归一化(Standardization): 把所有数据归一到均值为0方差为1的数据中 既适用于数据没有明显的边界,有可能存在极端数据值的情况。也适用于数据有明显边界的情况 xscale=x−xmeansx_{s c a l e}... 阅读详情

相关推荐

数据归一化

特性最小-最大归一化Z-Score 标准化缩放范围[0, 1]无固定范围,大致在[-3, 3]受异常值影响大(因为用到min/max)小(因为用到均值/标准差,更稳定)适用场景数据分布不明显,不适合有极端异常值的情况数据分布近似正态分布,或者存在异常值重要提示如何操作:归一化(或标准化)的参数(如min, max, μ, σ)必须从训练集中计算得出,然后用这些参数去转换验证集和测试集。

moonsheeper的专栏 852

【深度学习/机器学习】为什么要归一化?归一化方法详解

【深度学习/机器学习】为什么要归一化?归一化方法详解

Danger的博客 1万+

为什么要对数据归一化?

对数据进行归一化(Normalization)是一种常见的数据预处理技术,旨在将不同特征的取值范围缩放到相似的区间,从而改善机器学习算法的训练和性能。这些归一化方式可以根据数据的特点和模型的需求选择适合的方法。在实际应用中,根据数据的分布和模型的要求,选择合适的归一化方式能够帮助提升模型的性能和稳定性。归一化可以帮助防止神经网络中的梯度爆炸和梯度消失问题,特别是在深层网络中,梯度会逐渐缩小或放大,影响梯度传播的稳定性。归一化有助于减少模型对训练数据的依赖程度,提高模型在未见过数据上的泛化能力。

优快云 精品推荐 2393

机器学习算法在什么情况下需要归一化?

转载:http://www.cnblogs.com/LBSer/p/4440590.html机器学习模型被互联网行业广泛应用,一般做机器学习应用的时候大部分时间是花费在特征处理上,其中很关键的一步就是对特征数据进行归一化,为什么要归一化呢?维基百科给出的解释:1)归一化后加快了梯度下降求最优解的速度;2)归一化有可能提高精度。下面我简单扩展解释下这两点。1 归一化为什么能提高梯度下降法求解最优解的速

Running_you 1万+

数据预处理技术之数据归一化

大模型训练数据 数据预处理 归一化

u013558123的博客 1470

主板USB接口全部失效解决方案(通用串行总线USB控制器有黄色叹号)保姆级教程亲测有效

通用串行总线控制器总是有叹号解决办法 办公室的崩腾时代老电脑,疫情期间没人用,来了开机之后发现鼠标键盘都用不了,本以为是主机放时间长出了问题,后来想起来就百度了“鼠标键盘都失效”的标题,结果发现了“串行总线控制器总是感叹号”的关联问题。正好办公室电脑都装有teamviwer常用来远程办公(在家偷懒)。所以通过远程发现电脑室可以运行的。并在控制面板发现:通用串行总线控制器总是感叹号,插入外设时USB无反应。如图:​ 并且右键选中其中一个,点击最后一个选项:“属性” 可以发现“设备状态”中会提示“由...

xiao_bai_0_0的博客 2万+

使用Matlab对数据归一化

前言 在使用机器学习做分类和回归分析时,往往需要对训练和测试数据首先做归一化处理。这里就对使用MATLAB对数据进行归一化方法做一个小总结。 为什么进行归一化 一般做机器学习应用的时候大部分时间是花费在特征处理上,其中很关键的一步就是对特征数据进行归一化。关于为什么进行归一化处理维基百科给出的解释是:1)归一化后加快了梯度下降求最优解的速度;2)归一化有可能提高精度。 具体介绍:https://w...

wokaowokaowokao12345的专栏 5万+

Godot 4.x 实现 JRPG 回合制战斗系统:架构、状态机与实战优化

游戏开发中,状态机是管理复杂逻辑流转的核心设计模式,尤其在回合制战斗这类事件驱动的场景中。其原理是通过定义有限的状态和明确的转移条件,来控制系统在不同阶段的行为,从而实现清晰、可维护的流程控制。这项技术的价值在于能够将杂乱的条件判断代码结构化,降低模块间的耦合度,提升代码的可读性和可扩展性。在游戏开发领域,状态机广泛应用于角色AI、UI流程、战斗系统等场景。本文以Godot引擎为例,深入探讨如何运用节点与信号驱动架构,构建一个健壮的JRPG(日式角色扮演游戏)回合制战斗系统。内容涵盖从核心的**状态机**设

weixin_33749242的博客 501

数据预处理手段之【数据归一化】

数据预处理中的数据归一化介绍,列举常用归一化算法

坚持自己的梦想 2959

从稳压管到LDO芯片:一张图看懂线性电源的‘内卷’进化史

本文追溯了从稳压管到LDO芯片的线性电源技术进化历程,详细解析了各阶段的技术突破与局限。重点探讨了现代LDO在超低功耗、高精度控制等方面的创新,并提供了实战选型的黄金法则,帮助工程师在电子设备小型化与低功耗化趋势中做出最优选择。

weixin_42525551的博客 207

嘉立创EDA实战:从点亮第一盏灯到完成首块PCB

本文详细介绍了使用嘉立创EDA从点亮第一盏LED灯到完成首块PCB的全过程。通过实战案例分享,包括原理图绘制、PCB设计、DRC检查、覆铜操作等关键步骤,帮助电子设计爱好者快速掌握嘉立创EDA的使用技巧,并避免常见的设计错误。

weixin_30314793的博客 377

数据处理中的归一化与反归一化

一、定义 数据归一化(标准化)是数据预处理的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,为避免影响数据分析结果、消除指标之间的量纲影响,须对数据进行标准化处理。 数据的归一化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权,加快训练网络的收敛性。其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上。 二、两种常用的归一化方法 (1)线性函数归一化(Min-M

shuangrenyu5的博客 3万+

论文精读-ReTransformer ReRAM-based Processing-in-MemoryArchitecture for Transformer Acceleration

Transformer已经成为一种流行的深度神经网络(DNN)模型,用于神经语言处理(NLP)应用,并在神经机器翻译、实体识别等方面表现出优异的性能。然而,其在自回归解码器中的规模化点积注意机制在推理过程中带来了性能瓶颈。Transformer也是计算和内存密集型的,需要硬件加速解决方案。

a284365的博客 1923

为什么要数据归一化和归一化方法

转自:https://zhuanlan.zhihu.com/p/27627299 在喂给机器学习模型的数据中,对数据要进行归一化的处理。 为什么要进行归一化处理,下面从寻找最优解这个角度给出自己的看法。 例子 假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。 那么可以得到的公式为: 其中代表房间数,代表变量前面的系数。 其中代表面积,代表变量前面的系数。 首先我们祭出

wuxiaosi808的博客 3万+

Android Binder的两三事--基于Android14源码

Android14-Framework-Binder

保持专注,保持热爱 1142

高德地图API如何使用

通过以上步骤,您可以成功接入并使用高德地图API来为您的应用添加丰富的地图功能。

QQ_778132974的博客 4794

数据归一化mapminmax

#数据归一化 1、为什么要归一化? 把有量纲表达式变为无量纲表达式,数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。归一化主要是为了数据处理方便提出来的,把数据映射到 0 ~ 1 范围之内处理,更加便捷快速,是一种经过变换,化为无量纲的表达式,成为纯量。这样既保证了运算的便捷,又能凸现出物理量的本质含义。归一化的重要作用就是消除物理量取值与量纲差异的影响,为所有的物理量树立一个统一的标尺,在这个标尺下考虑试验数据的变化规律。归一化主要是消除量纲的影响 知乎上关于归一化给出了另一种解释 感觉这里举个

JGL121314的博客 2280

PCL RANSAC拟合直线并插值

空间直线线性插值的原理与实现方法。

点云侠的博客 137

python进行数据归一化

python进行数据归一化

m0_46335150的博客 5125

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

利用Python进行数据归一化

快速进入 利用Python进行数据归一化 **归一化化定义:**归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。 归一化方法有两种形式: 一种是把数变为(0,1)之间的小数 一种是把有量纲表达式变为无量纲表达式 一、归一到[0,1] class sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1), c...

Lindsay的博客 4万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【机器学习】数据归一化全方法总结:Max-Min归一化、Z-score归一化、数据类型归一化、标准差归一化等

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。本篇介绍了常用的十种归一化方法

Next_SummerAgain的博客 7万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

MinMaxScaler归一化,对每列数据进行归一化

之前一直用MinMaxScaler 进行归一化,最近才发现之前理解错了MinMaxScaler 的作用,MinMaxScaler只能对每一列分别进行归一化,即使将全部数据集的所有列都输入给MinMaxScaler,其归一化的结果也是对每列进行归一化。要想对整个数据集进行归一化可以将所有数据展平为一维输入给MinMaxScaler ,最后再重构形状。

weixin_42569547的博客 4715
上一篇: 计算机视觉 | 图像描述与注意力机制
下一篇: 一个女生不主动联系你还有机会吗?
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值