干货!使用Scikit-learn对数据进行预处理!

数据预处理(sklearn.preprocessing) 前言 数据预处理的工具有许多,在我看来主要有两种:pandas数据预处理和scikit-learn中的sklearn.preprocessing数据预处理。 前面更新的博客中,我已有具体的根据pandas来对数据进行预处理,原文请点击这里。其中主要知识点包括一下几个方面: 数据的集成:merge、concat、join、combine_first; 数据类型转换:字符串处理(正则表达式)、数据类... 阅读详情

  Scikit-learn提供了预处理模块,即sklearn.preprocessing模块,能够将原始的特征向量转换为更适合机器学习算法的形式。该preprocessing模块支持机器学习中常用的数据预处理功能,包括数据缩放、数据转换、归一化以及离群数据的处理等。

1,标准化

       对于Scikit-learn中实现的很多机器学习算法,将数据集进行标准化是常见的需求。许多目标函数都是假定所有特征的均值为零且方差在同一阶数上,如果个别数据特征不服从标准正态分布,如方差数量级较大,则会影响学习过程,降低模型的准确度。因此,标准化是机器学习中非常重要的一种数据预处理手段,下面是通过scale函数进行标准化的例子:

In [1]: from sklearn import preprocessing


In [2]: import numpy as np


In [3]: data = np.random.randint(1, 10, (4, 4))


In [4]: data
Out[4]:
array([[8, 8, 3, 8],
       [9, 9, 2, 7],
       [5, 1, 6, 2],
       [8, 5, 1, 7]])


In [5]: data_scaled = preprocessing.scale(data)


In [6]: data_scaled
Out[6]:
array([[ 0.33333333,  0.7228974 ,  0.        ,  0.85280287],
       [ 1.        ,  1.04418513, -0.53452248,  0.42640143],
       [-1.66666667, -1.52611672,  1.60356745, -1.70560573],
       [ 0.33333333, -0.2409658 , -1.06904497,  0.42640143]])

      处理后的数据,均值为0,方差为1:

n [7]: data_scaled.mean(axis=0).round(2)
Out[7]: array([-0., -0.,  0., -0.])


In [8]: data_scaled.std(axis=0).round(2)
Out[8]: array([1., 1., 1., 1.])

     有监督学习中我们需要同时处理训练集和测试集,预处理模块提供的StandardScaler可以先适配训练集的数据,然后对测试集应用相同的转换操作。StandardScaler类在适配过程中会计算训练集的平均值和标准差,以便能够在测试集上应用相同的变换:

In [9]: x_data = np.random.randint(1, 10, (8, 4))


In [10]: x_train, x_test = x_data[0:4, :], x_data[4:8, :]


In [11]: scaler = preprocessing.StandardScaler()


In [12]: scaler.fit(x_train)
Out[12]: StandardScaler(copy=True, with_mean=True, with_std=True)


In [13]: scaler.mean_
Out[13]: array([3.75, 5.75, 5.25, 3.  ])


In [14]: scaler.var_
Out[14]: array([5.6875, 1.1875, 8.1875, 5.5   ])

   适配后的转换器可以用transform接口对训练集进行标准化:

In [15]: x_train_scaled = scaler.transform(x_train)


In [16]: x_train_scaled.mean(axis=0)
Out[16]: array([ 0.00000000e+00,  5.55111512e-17,  0.00000000e+00, -1.38777878e-17])


In [17]: x_train_scaled.std(axis=0)
Out[17]: array([1., 1., 1., 1.])

     调用转换接口,可以将同样的转换操作应用在测试集上:

In [18]: scaler.transform(x_test)
Out[18]:
array([[ 2.20139816,  1.14707867, -0.43685203, -0.42640143],
       [-0.31448545, -1.60591014, -1.4852969 , -0.42640143],
       [ 2.20139816, -4.35889894, -0.43685203,  1.70560573],
       [ 0.52414242,  0.22941573, -0.43685203,  1.2792043 ]])

2,归一化

       归一化是将特征数据缩放到限定范围内,通常是0-1之间。不同的特征之间可能具有量纲和数量级上的差异,归一化可以避免这种差异带来的负面影响,加速优化过程。预处理模块中,normalize函数提供了快速、便捷的归一化操作:

In [1]: from sklearn import preprocessing


In [2]: import numpy as np


In [3]: data = np.random.randint(1, 10, (4, 4))


In [4]: data
Out[4]:
array([[6, 4, 2, 4],
       [9, 6, 9, 9],
       [2, 4, 1, 7],
       [3, 6, 7, 1]])


In [5]: data_normalized = preprocessing.normalize(data, norm='l2')


In [6]: data_normalized
Out[6]:
array([[0.70710678, 0.47140452, 0.23570226, 0.47140452],
       [0.53881591, 0.3592106 , 0.53881591, 0.53881591],
       [0.23904572, 0.47809144, 0.11952286, 0.83666003],
       [0.30779351, 0.61558701, 0.71818485, 0.10259784]])

      其中,norm参数用来指定归一化所使用的范数类型,支持L1和L2范数,对应的参数值分别为l1和l2。预处理模块还提供了Normalizer转换器,类似于标准化的StandardScaler转换器,它在数据适配后可以对所有输入对象进行统一的归一化操作。下面是该转换器的用法示例:

In [7]: normalizer = preprocessing.Normalizer(norm='l2')


In [8]: normalizer.fit(data)
Out[8]: Normalizer(copy=True, norm='l2')


In [9]: data2 = np.random.randint(1, 10, (1, 4))


In [10]: normalizer.transform(data2)
Out[10]: array([[0.08873565, 0.26620695, 0.53241391, 0.79862086]])

   初始化转换器时,可以通过norm参数指定范数类型,默认值为l2。执行归一化转换前,需要调用fit接口进行数据适配。归一化转换的接口为transform,输入参数是待转换的数组。

1,正态化

      在很多机器学习的建模场景下,都期望特征变量服从正态分布。幂变换是一类参数化的单调变换,旨在将原数据分布尽可能地映射到高斯分布中,以达到稳定方差、降低偏度的目的。预处理模块的PowerTransformer 转换器支持两种幂变换,分别是Yeo-Johnson幂变换和Box-Cox幂变换,通过method参数来指定。例如,使用Box-Cox幂变换:

In [1]: from sklearn import preprocessing


In [2]: import numpy as np


In [3]: data = np.random.RandomState(616).lognormal(size=(4, 4))


In [4]: transformer = preprocessing.PowerTransformer(method='box-cox', standardize=False)


In [5]: data
Out[5]:
array([[1.28331718, 1.18092228, 0.84160269, 0.94293279],
       [1.60960836, 0.3879099 , 1.35235668, 0.21715673],
       [1.09977091, 0.98751217, 3.10856524, 1.64193898],
       [0.88024529, 0.21202234, 4.17198777, 0.46721295]])


In [6]: transformer.fit_transform(data)
Out[6]:
array([[ 0.24840307,  0.1711119 , -0.16980009, -0.05849047],
       [ 0.47219482, -0.80902253,  0.3101936 , -1.35809287],
       [ 0.09494971, -0.01253951,  1.25813603,  0.51566077],
       [-0.12782912, -1.20392375,  1.62867338, -0.7173335 ]])

     PowerTransformer类默认会将标准化操作应用到转换后的输出结果上,可以在初始化时通过指定standardize为False来关闭这个默认选项。

      本文选自人民邮电出版社的《python数据分析入门与实战》一书,略有修改,经出版纸质书为准。

12ee0748cf1d01d344ab8b70afa5fc4e.jpeg

15164605bdf0509f75e37ef6328f78e1.jpeg

【机器学习|Python】sklearn中的数据预处理方法 本篇文章主要讲解Python的sklearn库中常用的数据预处理方法,主要介绍工具中的内容,即该库中的相关方法包含的常用接口和基本使用,并不适合手把手入门学习,此外将涉及更少的原理和使用情况说明。 阅读详情

相关推荐

Sklearn中数据预处理

数据预处理 Sklearn中的模块preprocessing:几乎包含数据预处理的所有内容 数据无量纲化 在机器学习算法实践中,我们往往有着将不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布 的需求,这种需求统称为将数据“无量纲化”。 数据的无量纲化可以是线性的,也可以是非线性的。线性的无量纲化包括中心化(Zero-centered或者Mean subtraction)处理和缩放处理(Scale)。中心化的本质是让所有记录减去一个固定值,即让数据样本数...

sshi9的博客 5659

sklearn.preprocessing模块介绍

用于对离散特征进行独热编码。它将每个离散特征的每个取值转换为一个二进制特征向量,其中只有一个元素为 1,表示该取值,其他元素为 0。

qq_29983883的博客 5037

(干货)结合Scikit-learn介绍几种常用的特征选择方法

系统版本:window 7 (64bit) python版本:python 3.5 我的GitHub:https://github.com/weepon 写在前面:前段时间正好用到特征选择的知识,有幸读到这篇文章,本文也主要参考这篇文章写成,但与原文章有不同之处:第一、纠正了原始文章中的代码错误,使其能用python3.5正常运行;第二、增加了一些新的特征选择内容,使其更加完善。本文中

weepon的博客 1万+

Scikit-learn:数据预处理Preprocessing data

http://blog.youkuaiyun.com/pipisorry/article/details/52247679 本blog内容有特征预处理(标准化、归一化、正则化、特征二值化、缺失值处理)和标签label预处理(label二值化、multi-label多值化)。 特征的预处理 基础知识参考 [数据标准化/归一化normalization ] [均值、方差与协方差矩阵 ] ...

皮皮blog 3万+

机器学习:在Python中sklearn库的使用,纯干货!12个小时的整理!

今天演示了关于scikit-learn在无监督学习方面的使用。后续会出scikit-learn在其他方面的使用,大家可以关注起来!

CKissjy的博客 1498

基于STM32F103C8T6单片机设计CAN接口8路继电器控制板硬件(原理图+PCB)+软件源码

基于STM32F103C8T6单片机设计CAN接口8路继电器控制板硬件(原理图+PCB)+软件源码,仅供学习及设计参考。

GJZGRB的博客 1420

机器学习(十一):Scikit-learn库的基础与使用

详细解释了Scikit-learn的一些基础用法,包括它的定义、安装、核心对象类型(评估器)和关键特性(如数据预处理,数据集切分,数据标准化和归一化),并学习了如何实现线性回归模型,包括了解超参数的概念,以及如何保存和加载模型,希望通过本文,能帮助大家对Scikit-learn有一个更深入的认识。

无敌小怪兽_Zz的博客 1万+

微信小程序转化数据API自归因实战:PHP实现与2025升级要点解析

本文详细解析了2025年微信小程序转化数据API自归因的升级要点与PHP实战实现。核心变化包括接口地址更新、固定access_token的获取方式,以及新增timestamp与nonce等安全参数。文章提供了完整的PHP代码示例,帮助开发者高效完成数据上报,优化腾讯广告投放效果。

git9versioner的博客 989

Scikit-learn库的基础与使用

Scikit-learn的发展始于2007年,由David Cournapeau在Google Summer of Code项目中启动。项目后续得到了许多开发者的贡献,包括INRIA(法国国家信息与自动化研究所),Waikato大学和其他机构。项目之所以取名为Scikit-Learn,也是因为该算法库是基于SciPy来进行的构建,而Scikit则是SciPy Kit(SciPy衍生的工具套件)的简称Scikit-learn是目前机器学习领域最完整、同时也是最具影响力的算法库。

hellozhxy的博客 5248

LAMMPS实操系列(四): 高熵合金FCC-CoCrCuFeNi的退火模拟

我们对FCC-CoCrCuFeNi的退火模拟思路主要是,首先将材料以均匀的速率用100 ps从300 K升温至1000 K,然后在1000 K的温度下平衡100 ps,随后以均匀的速率用100 ps从1000 K降温至300 K,随后通过共轭梯度下降法做静力学结构优化得到退火后的结构。由于FCC-CoCrCuFeNi高熵合金被认为是潜在的工程结构材料[1],接下来我们将对退火前后的结构进行压缩模拟,对比退火前后FCC-CoCrCuFeNi高熵合金的力学性能变化,敬请各位读者关注我们的更新。

Ceshigo_CD的博客 4839

无人驾驶汽车系统入门(三十二)——FEC算法:点云快速欧几里得聚类实战解析

本文深入解析了FEC算法在无人驾驶点云聚类中的高效应用,通过逐点处理策略和体素栅格预分割技术,实现了比传统欧几里得聚类快百倍的速度。文章详细介绍了算法原理、Python实现及参数调优指南,并对比了FEC与传统算法的性能差异,为无人驾驶系统开发提供了实用解决方案。

weixin_29065015的博客 488

Scikit-learn核心模型全解析

《Scikit-learn核心模型与工作流程概述》摘要(148字) Scikit-learn作为Python主流机器学习库,提供覆盖监督学习(分类/回归)、无监督学习(聚类/降维)的完整算法体系,所有模型均遵循fit/predict/score统一API。典型流程包含数据预处理、模型训练、评估调优三大阶段,支持通过GridSearchCV进行超参数优化。其官网提供的模型选择流程图能有效指导用户根据数据量、问题类型选择合适的算法。该库以算法丰富性、接口一致性和完善的文档支持,成为机器学习实践的首选工具,特别适

2401_86544677的博客 1147

Unity卡通渲染实战:原神PMX模型Blender转FBX全流程

卡通渲染是二次元游戏开发的核心技术之一,其本质在于对光照模型、顶点色控制与边缘光生成的精准建模。本文从基础概念切入,解析MMD PMX格式的数据结构原理,阐明顶点色(Vertex Color)与Toon Ramp贴图在风格化渲染中的技术价值;进而覆盖Blender到Unity的跨引擎资产流转关键路径,重点解决法线校准、骨骼命名适配、FBX导出参数配置等工业级断点问题;最终落地于Unity内置管线与URP双环境下的卡通Shader定制与Render Feature实现。内容聚焦原神风格角色资产重铸实践,涵盖P

weixin_38166557的博客 439

scikit-learn在监督学习方面的使用,纯干货分享。建议收藏

今天演示了关于scikit-learn在监督学习方面的使用。后续会出scikit-learn在其他方面的使用,大家可以关注起来!喜欢的朋友可以。

m0_61249789的博客 1227

CAS5和CAS6自定义异常提示消息

CAS自定义异常提示消息

weixin_42949219的博客 980

静态时序分析(STA)基本概念

静态时序分析中常见概念(fasle Path,multicycle path等)

m0_61544122的博客 2256

【机器学习】经典永不过时!机器学习库Scikit-learn

自2007年发布以来,Scikit-learn已经成为Python重要的机器学习库了,Scikit-learn简称sklearn,支持包括分类、回归、降维和聚类四大机器学习算法,还包括了特征提取、数据处理和模型评估三大模块。图3-1代表了Scikit-Learn算法选择的一个简单路径,这个路径图代表:蓝色圆圈是判断条件,绿色方框是可以选择的算法,我们可以根据自己的数据特征和任务目标去找一条自己的操作路线。二者的区别是列表里面的元素值可以修改,而元组中的元素值不可以修改,只能读取。

小白学视觉 264

CEEMDAN算法及其应用

本博文主要介绍CEEMDAN算法的原理及其在信号去噪方面的应用

总结论文中的算法并给出论文的复现代码 6万+

HoRain云--Scikit-learn Pipeline:简化机器学习流程的利器

Scikit-learn Pipeline 是机器学习工作流的重要工具,它能将数据预处理和模型训练等步骤封装成单一对象。Pipeline 能简化代码、避免数据泄露、便于超参数调优,并提高项目可复现性。文章详细介绍了 Pipeline 的基本构建方法、处理异构数据的 ColumnTransformer 应用、超参数调优技巧、自定义转换器实现以及模型持久化保存等核心功能。Pipeline 特别适用于需要重复处理流程、严格模型评估或生产部署的场景,是构建稳健机器学习工作流的关键技术。

2401_86544677的博客 1746

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

scikit-learn 7大核心预处理方法实战指南

数据预处理是机器学习建模的基石,直接影响模型收敛性、稳定性与业务可解释性。其本质是解决数值量纲不一、类别语义失真、缺失值隐含业务逻辑、分布偏斜、异常值干扰等基础问题。StandardScaler、RobustScaler、PowerTransformer等方法并非孤立工具,而是针对不同数据病理(如右偏分布、合理异常、高基数类别)的精准干预手段。在工业级AI项目中,预处理需兼顾数学严谨性(如梯度下降对特征尺度的敏感性)与工程鲁棒性(如handle_unknown机制、内存可控的OneHot截断)。本文聚焦sc

a5199519的博客 390

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

全网最全的Scikit-Learn学习手册!

预测结果是这五张照片分别显示数字2、2、0、9、5(标签2),它们前三个数2、2、0都小于等于4(标签1第一类),第四个数9大于等于7(标签1第二类),而第五个数5在4和7之间(标签1第三类)。』,即五大元估计器(集成功能的Ensemble,多分类和多标签的Multiclass,多输出的Multioutput,选择模型的Model Selection,流水线的Pipeline)。N个类需要N(N-1)/2个分类器。多输出分类是多标签分类的泛化,在这里每一个标签可以是多类别(大于两个类别)的。

小白学视觉 250

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

scikit-learn在监督学习算法的应用

文章围绕 scikit-learn 展开,介绍多个机器学习算法的实践案例。利用线性回归预测波士顿房价,逻辑回归处理鸢尾花分类;以支持向量机进行新颖性检测,决策树和随机森林可视化决策边界,K-Means 实现数据聚类,集成方法对比不同模型性能,高斯混合模型对鸢尾花数据聚类,梯度提升树和 AdaBoost 解决分类和回归问题,神经网络对 2D 数据集分类并探索正则化影响。通过这些案例,展示了 scikit-learn 在监督学习中的应用,帮助读者理解机器学习算法原理,掌握 scikit-learn 的使用方法。

一个不怎么正经的算法工程师的博客~不定期更新一些我所覆盖领域的干货~~~包你满意噢~~ 2278

HoRain云--Scikit-learn实战:从分类到降维全解析

**摘要:**Scikit-learn(Sklearn)是Python中强大的机器学习库,涵盖分类、回归、降维等任务。本文通过三个典型案例展示其应用: 分类案例:使用鸢尾花数据集,对比决策树、SVM和KNN模型的准确率,并通过网格搜索优化超参数; 回归案例:以北京链家房价数据为例,演示线性回归模型预测房价,评估均方误差和R²值; 降维案例:利用PCA实现鸢尾花数据可视化与噪声过滤,以及NMF分解高光谱数据。 文章强调数据探索、模型调优及交叉验证的重要性,适合快速原型开发与机器学习入门。

2401_86544677的博客 882

用Python Scikit-learn 实现机器学习十大算法--朴素贝叶斯算法(文末有代码)

1,前言 很久不发文章,主要是Copy别人的总感觉有些不爽,所以整理些干货,希望相互学习吧。不啰嗦,进入主题吧,本文主要时说的为朴素贝叶斯分类算法。与逻辑回归,决策树一样,是较为广泛使用的有监督分类算法,简单且易于理解(号称十大数据挖掘算法中最简单的算法)。但其在处理文本分类,邮件分类,拼写纠错,中文分词,统计机器翻译等自然语言处理范畴较为广泛使用,或许主要得益于基于概率理论,本文主要为小编从理

关于模式识别 1万+

关于Scikit-Learn你(也许)不知道的10件事

点击上方,选择星标或置顶,每天给你送干货!阅读大概需要6分钟跟随小博主,每天进步一丢丢作者|RebeccaVickery原文| 见页面左下角『阅读原文』编译|NewBeeNL...

zenRRan的博客 222
上一篇: 我用GPT干的18件事!
下一篇: OpenAI现场演示官方版AutoGPT!创作画画发推一条龙,自主调用外部应用完成任务...
菜鸟学Python
博客等级 码龄9年 8095粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值