使用scikit-learn进行初步的数据预处理

Sklearn之数据预处理——StandardScaler StandardScaler原理 作用:去均值和方差归一化。且是针对每一个特征维度来做的,而不是针对样本。 标准差标准化(standardScale)使得经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为: 其中μ为所有样本数据的均值,σ为所有样本数据的标准差。 使用sklearn提供的StandardScaler方法 from sklearn.preprocessing import StandardScaler # 标准化工具 impor... 阅读详情

对于机器学习来说,sklearn具有非常丰富且方便的算法模型库,现在我们将使用sklearn中的preprocessing库来对数据进行初步的预处理。


1.Z-Score标准化(尽量使均值为0,方差为1)

标准化即将数据按比例进行缩放,使其落入一个限定的区间。特点是使得不同量纲之间的特征具有可比性,同时不改变原始数据的分布。属于无量纲化处理。

公式

需要计算特征的均值和标准差,使用sklearn中preprocessing库中的StandardScaler类对特征进行标准化代码如下:

from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
# data 即为标准化后返回的数据
data = ss.fit_transform(train_data)
特点:

1.标准化后不会改变原始数据的分布,即不会影响各自特征对目标函数的权重。
2.在样本数据大的情况下比较稳定,适用于嘈杂的现代大数据场景。


2.区间缩放法

顾名思义,将数据进行伸缩变换到[0, 1]或者是[-1, 1]范围内进行处理,也是属于无量纲化处理。

最小最大值标准化(MinMaxScaler)

使用sklearn中preprocessing库中的MinMaxScaler类对特征进行标准化代码如下:

from sklearn.preprocessing import MinMaxScaler

# 使用 MinMaxScaler 对数据进行缩放
# MinMaxScaler(feature_range = (0, 1), copy = True) 
# 其中 feature_range: tuple(min, max), default = (0, 1)
# 即可以自行指定最小最大值范围,因此也称最小最大值标准化

mms = MinMaxScaler()
data = mms.fit_transform(data)
绝对值最大标准化

使用sklearn中preprocessing库中的MaxAbsScaler类对特征进行标准化代码如下:

from preprocessing import MaxAbsScaler

# 通过除以最大值,将数据缩放至[-1, 1]
# 这意味着数据以0为中心或者含有非常多的0,即稀疏数据

mas = MaxAbsScaler()
train_data = mas.fit_transform(data)
特点:

1.对不同特征维度数据进行伸缩变换,达到归一。
2.改变了原始数据的分布,即各特征对目标函数的权重影响是一致的。
3.可对方差特别小的数据增强其稳定性,也可以维持稀疏矩阵中多为0的样本条目。
4.可以提高迭代求解的收敛速度和精度。
5.最小值和最大值容易受噪声点影响,鲁棒性差。


3.正则化

奥卡姆剃刀定律:如无需要,勿增实体。因此模型越复杂,越容易出现过拟合。之前以最小化损失函数(经验风险最小化)为目标,后来以最小化损失函数和模型复杂度(结构风险最小化)为目标。所以,通过降低模型的复杂度来防止模型过拟合的规则称为正则化。

  • 机器学习中最常见的无外乎就是L1正则化和L2正则化。
  • 对于线性回归模型而言,使用L1正则化的模型称为Lasso回归,使用L2正则化的模型称为岭回归(Ridge 回归)。
  • 在一般回归模型分析中,w一般称为回归系数,而使用正则化项就是对回归系数进行处理。
  • L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为||w||1
  • L2正则化是指权值向量w中各个元素的平方和然后再求平方根,通常表示为||w||2
  • L1正则使得带有L1正则的模型在拟合过程中,部分参数权值降为0,可以产生稀疏权值矩阵,进而用来进行特征选择。
  • L2正则即使带有L2正则的模型在拟合的过程中,不断的让权值变小,因此加入有数据发生偏移(噪声点)也不会对结果造成什么影响,即抗干扰能力强。
  • L1正则之所以一定程度上可以防止过拟合,是因为当L1的正则化系数很小时,得到的最优解会很小,可以达到和L2正则化类似的效果。

使用sklearn中preprocessing库中的normalize类对特征进行标准化代码如下:

from preprocessing import normalize

# data 为被正则的数据集,norm 参数选择为 l1, l2
# 即选择L1正则还是L2正则

train_data = normalize(data, norm = 'l2')
二、Sklearn数据预处理 目录 一、sklearn中的数据预处理和特征工程 二、数据预处理 Preprocessing & Impute 1、数据无量纲化 (1)preprocessing.MinMaxScaler 数据归一化 (2)preprocessing.StandardScaler 数据标准化 (3)归一化和标准化对NaN的处理 (4)StandardScaler和MinMaxScal... 阅读详情

相关推荐

Python机器学习及实践(二、回归预测——线性回归器)

Python机器学习及实践(二、回归预测——线性回归器) 回归预测简介 回归预测就是把预测的相关性原则作为基础,把影响预测目标的各因素找出来,然后找出这些因素和预测目标之间的函数关系的近似表达,并且用数学的方法找出来。在利用样本数据对其模型估计参数,并且对模型进行误差检验。如果模型确定,就可以用模型对因素的的变化值进行预测 代码及注释 输入: from sklearn.datasets impor...

qq_41233323的博客 553

sklearn.preprocessing.StandardScaler函数入门

在本篇文章中,我们学习了如何使用​​函数对数据进行特征缩放。特征缩放可以使得不同特征之间的差异更加明显,对后续的机器学习模型更加友好。通过​​fit​​和​​方法,我们可以轻松地实现特征缩放的过程。假设我们有一个数据集,其中包含房屋的面积(单位:平方米)、房间数和房价(单位:万元)。我们想要对这些特征进行缩放,使得它们处于相近的尺度上。# 创建一个随机的数据集# 创建StandardScaler对象然后,我们使用​Mean:[1. 1. 1.]# 创建LinearRegression对象。

牛肉胡辣汤 3808

【Scikit-learn学习】第一课:Scikit-learn 简介和安装

欢迎来到 Scikit-learn 的入门课程!在这一课中,我们将介绍 Scikit-learn 的基础知识,包括它的历史、主要功能、以及如何在你的环境中安装它。这将为我们深入探索 Scikit-learn 的强大功能打下坚实的基础。Scikit-learn 是一个开源的 Python 机器学习库,它提供了大量的简单和高效的工具,适用于数据挖掘和数据分析。它建立在 Python 的 NumPy、SciPy 和 Matplotlib 库之上,使其成为科学和工程领域中数据分析和机器学习的首选库之一。

weixin_46453070的博客 3247

使用Scikit-learn开启机器学习之旅

机器学习是令计算机根据可用数据执行相应策略而无需以明确的编程方式执行策略的一门学科。 在过去几十年间,由于可用数据的数量和质量呈指数级增长,同时高性能的计算设备也得到了快速发展。Scikit-Learn 是机器学习的常用库,它包含很多实用工具和算法用于构建机器学习模型,本文通过实例讲解使用 Scikit-learn 构建机器学习模型,包括常见监督学习和无监督学习算法模型。

盼小辉丶的博客 4697

【Scikit-learn】【入门】简介 + Scikit-learn六大功能

1.简介(1)SciPy,SciPy是一个开源的基于Python的科学计算工具包。(2)Scikits,基于SciPy针对不同的应用领域发展出众多的分支版本,他们统一称为Scikits,即SciPy工具包的意思(3)Scikit-learn,是针对机器学习出的一个分支版本(开源框架),就是Scikit-learn,这就是Scikit-learn和SciPy的关系。Scikit-learn需要Num...

蔚蓝的天空Tom 7225

Jenkins+docker 微服务实现自动化部署安装和部署过程

本文详细介绍了如何使用Docker部署Jenkins自动化服务器。主要内容包括:1)拉取Jenkins官方或BlueOcean镜像;2)创建容器并配置端口映射、数据卷挂载;3)设置防火墙规则;4)配置清华大学镜像加速;5)安装必要插件;6)SSH密钥配置;7)构建触发器设置;8)编写自动化构建脚本。通过Docker部署Jenkins可以简化安装流程,确保环境一致性,并利用容器特性实现快速启动和管理。文章提供了完整的配置步骤和注意事项,帮助用户快速搭建CI/CD环境。

qq_33665793的博客 1694

机器学习(二) -- 数据预处理(1)

tips:这里只是 总结 ,不是教程哈。以下内容仅为暂定,因为我还没找到一个好的,让小白(我自己)也能容易理解(更系统)的讲解顺序!咱们根据机器学习的流程来吧咱们要进行机器学习首先需要数据,以及对数据进行预处理。数据获取:获取数据途径多种多样。数据清洗:有无缺失值,有无异常数据等。数据拆分:机器学习的数据集划分一般分为两个部分:训练数据:用于训练,构建模型。一般占70%-80%(数据量越大,取得比例最好越大)测试数据:用于模型评估,检验模型是否有效。一般占20%-30%

zqx1473的博客 2117

Tomcat源码:Acceptor与Poller、PollerEvent

前文中我们介绍到NioEndpoint的start方法启动了Acceptor与Poller这两个异步线程来处理连接请求,本文我们就来接着介绍这两个组件。目录前言一、Acceptor1、构造方法2、run方法LimitLatchNioChannel二、Poller与PollerEvent2、pollerregisterruneventsprocessKey。

CRUD工程师 2068

scikit-learn初级

s第一章 scikit-learn初级 官网:https://scikit-learn.org/stable/index.html 1.1 Scikit-Learn简介 Scikit-Learn(简称Sklearn)是Python的第三方模块,它是机器学习领域中知名的Python模块之一,它对常用的机器学习算法进行了封装,包括回归(Regression)、降维(Dimensionality Reduction)、分类(Classification)和聚类(Clustering)四大机器学习算法。Scikit

weixin_50559423的博客 8272

法律AI工具横评:Kimi Work与WorkBuddy,谁更适合法律人?

在人工智能技术日益普及的今天,自然语言处理(NLP)和大语言模型(LLM)正深刻改变着专业领域的工作范式。其核心原理在于通过海量数据训练,使模型能够理解、生成和推理人类语言。这一技术价值在于将从业者从繁琐、重复的信息处理工作中解放出来,极大提升工作效率与知识获取的便捷性。在法律、金融、咨询等对文本处理要求极高的行业,AI助手已展现出在文档分析、信息检索和内容生成方面的巨大潜力。具体到法律应用场景,AI工具能够辅助完成合同审查、法律检索和文书起草等核心任务,成为专业人士的得力助手。本文聚焦于近期备受关注的两款

weixin_30279671的博客 570

银河麒麟系统安装redis【亲测可行】

架构:Linux 5.10.0-9-generic x86_64 GNU/Linux。redis版本:redis-6.2.3.tar.gz。然后在执行make install,结束;OS:银河麒麟V10(SP1)未激活。cpu:I5-10代;

lx_nhs的博客 3339

Scikit-Learn入门教程

来源:尤而小屋Scikit-learn是一个非常知名的Python机器学习库,它广泛地用于统计分析和机器学习建模等数据科学领域。建模无敌:用户通过scikit-learn能够实现各种监督和...

Python数据之道 1万+

105、LLC谐振变换器的LTspice仿真建模

文章摘要:本文分享了LLC谐振变换器在LTspice中的仿真建模经验。作者从实际调试中炸管的教训出发,指出数学计算无法捕捉瞬态问题,必须通过仿真验证。详细介绍了半桥LLC主电路搭建、理想元件选择、开环增益扫频、闭环控制实现等关键步骤,重点讲解了启动过程、ZVS验证和短路保护等高风险工况的仿真技巧。文章提供了实用参数设置建议和LTspice代码片段,强调先开环后闭环的调试顺序,并提醒仿真结果需保留20%设计裕量。最后总结了谐振电流波形观察、死区时间优化等经验性建议。

Jack010169的博客 229

【Scikit-learn学习】第二课:数据预处理

虽然数据挖掘和数据分析都是数据科学的重要组成部分,但数据挖掘更侧重于从大量数据中自动发现模式和关系,而数据分析更侧重于通过手动或半自动方式分析和解释数据以支持决策。Scikit-learn(sklearn)是一个广泛使用的 Python 机器学习库,它提供了大量的算法和工具,用于执行各种机器学习任务,如分类、回归、聚类、维度缩减、模型选择和预处理。优质的数据是模型性能良好的关键。在这一课中,我们将详细探讨 Scikit-learn 中提供的数据预处理工具,包括数据清洗、特征选择、特征缩放和数据转换等。

weixin_46453070的博客 1824

PCL 三次均匀B样条曲线拟合

PCL 三次均匀B样条曲线拟合

dayuhaitang1的博客 402

匹配博弈双边选择算法

刚学图论匹配方面的一些知识,记录下来。

ymengm的博客 2437

机器学习库Scikit-learn

本文目录3.1 背景知识3.2 Scikit-learn概述3.3 Scikit-learn主要用法3.3.1 基本建模流程3.3.2 数据预处理3.3.3 监督学习算法3.3.4 无监督学习算法3.3.5 评价指标3.3.6 交叉验证及超参数调优3.4 Scikit-learn总结参考文献Scikit-learn是基于NumPy、SciPy和Matplotlib的开源Python机器学习包,它封...

fengdu78的博客 8635

数字孪生通信层开发:C#实现OPC UA到Unity3D的实时数据映射(2026年工业级实战指南)

(西门子数字孪生总监):“在产线上,50ms的延迟意味着1%的设备误操作率。2026年,通信层不是‘工具’,是数字孪生的‘生命线’。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 182

【Python】scikit-learn 数据预处理总结

数据预处理是数据准备阶段的一个重要环节,主要目的是将原始数据转换成适合机器学习模型使用的格式,同时处理数据中的缺失值、异常值、重复值、不一致性等问题。数据预处理可以显著提高机器学习模型的性能和准确度。

不积跬步无以至千里,不积小流无以成江海。一个喜欢学习分享的程序员 2004

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Scikit-learn 预处理函数分类详解

本文总结了sklearn.preprocessing模块中常用的数据标准化和特征编码方法。标准化类函数包括scale()(快速标准化)、MinMaxScaler()(区间缩放)、StandardScaler()(Z值标准化)、MaxAbsScaler()(稀疏数据处理)和RobustScaler()(抗异常值)。特征编码类涵盖OrdinalEncoder(有序编码)、OneHotEncoder(独热编码)和多标签处理等。此外还介绍了离散化、多项式特征生成等预处理技术,为机器学习数据预处理提供了全面的方法参考

yelan963的博客 1512

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Scikit-learn从入门到实践:Scikit-learn数据预处理入门

本课程介绍了使用Scikit-learn进行数据预处理的核心技术,包括数据清洗、缺失值处理、数据转换和特征选择。主要内容涵盖:使用SimpleImputer处理缺失值;通过StandardScaler和MinMaxScaler实现标准化与归一化;利用SelectFromModel和RFE进行特征选择。课程通过代码示例演示了如何应用这些方法,帮助学习者为后续机器学习建模奠定数据基础。掌握这些预处理技术能有效提升数据质量和模型性能。

WSSWWWSSW的博客 682

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

使用scikit-learn对数据进行预处理

欢迎关注”生信修炼手册”!数据的质量决定了模型的上限,在真实的数据分析中,输入的数据会存在缺失值,不同特征的取值范围差异过大等问题,所以首先需要对数据进行预处理。预处理是数据挖掘的第一步...

庐州月光的博客 761

Scikit-learn库的基础与使用

Scikit-learn的发展始于2007年,由David Cournapeau在Google Summer of Code项目中启动。项目后续得到了许多开发者的贡献,包括INRIA(法国国家信息与自动化研究所),Waikato大学和其他机构。项目之所以取名为Scikit-Learn,也是因为该算法库是基于SciPy来进行的构建,而Scikit则是SciPy Kit(SciPy衍生的工具套件)的简称Scikit-learn是目前机器学习领域最完整、同时也是最具影响力的算法库。

hellozhxy的博客 5248

scikit-learn 数据预处理方法详解

本文介绍了机器学习数据预处理中两个关键方法:数据划分和特征缩放。首先详细讲解了train_test_split()函数的使用,包括参数说明(如test_size、random_state等)和典型应用场景,演示了如何将数据集划分为训练集和测试集。其次重点阐述了StandardScaler标准化方法,解析了其参数配置、核心方法(fit/transform等)和工作流程,并比较了标准化与归一化的区别。文章通过实例代码展示了这两种方法的实践应用,强调标准化时应保持训练集和测试集的一致性。

qq_41768644的博客 1432

使用scikit-learn进行预处理

文章目录PreProcessing using scikit-learn|Common importIntroduction to PreProcessing|预处理简介StandardScalerMinMaxScalerRobust Scaler|鲁棒的缩放器Normalizer归一化器Binarization|二进制化Encoding Categorical Values |编码分类值Enco...

平平淡淡,戒急用忍,一生学闭嘴。 1237

scikit-learn安装步骤

scikit-learn安装步骤scikit-learn简介什么是scikit-learn?scikit-learn可以做什么?scikit-learn安装 scikit-learn简介 什么是scikit-learn? python的机器学习工具 简单高效的数据挖掘和数据分析工具 每个人都可以访问,并且可以在各种情况下重用 基于NumPy,SciPy和matplotlib构建 开源,可商业使用...

Work hard 2万+
上一篇: Linux系统:selenium.common.exceptions.WebDriverException: Message: chrome not reachable
下一篇: 常用的降维方法
shmilygkd
博客等级 码龄10年 1粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值