数据预处理

Python中的常用的数据预处理所需工具 Dataframe 是一种在数据分析和数据处理中常用的数据结构,特别是在使用 Python 的数据分析库 Pandas 时。Dataframe 提供了一种灵活、高效的方式来操作和分析表格数据。Dataframe 是二维的,可以想象成一个 Excel 电子表格或 SQL 数据库表,有行和列。 阅读详情

一、初始工具

1.anaconda: IPython、spyder

2.数据处理工具:pandas、numpy、Excel、sql

3.建模工具:sklearn

3.1 内容
3.2 API
  • 数据预处理:

    • Pandas:强大、灵活的数据分析和探索工具
    • Numpy:数组支持,以及相应的高校处理函数
    • Scipy:矩阵支持,以及对应的矩阵数值计算模块
    • Matplotlib:强大的数据可视化工具,作图库
    • ……
  • 建模:

    • Scikit-Learn:支持回归、分类、聚类等的强大机器学习库
    • StatsModels: 统计建模和计量经济学,包括描述统计、统计模型估计和推断
    • Keras:深度学习库,用于建立神经网络以及深度学习模型
    • Gensim:文本主题模型的库,文本挖掘用
    • TensorFlow、Theano:深度学习
    • ……
from sklearn import datasets
import pandas as pd
import numpy as np
from sklearn import preprocessing

#数据举例
iris = datasets.load_iris()
X, y = iris.data, iris.target
testData = pd.read_csv('C:\\Users\\Load_model\\all_model\\traindata_v2.csv')
testData = testData[:10000]
testData.describe().T
# 有时候需要对数据进行合并, pd.merge  pd.concat

#自己生成数据玩一下
playData = pd.DataFrame({
    'fillNan1' : [0,1]*10 + [2]*20 + [np.nan]*10,
    'date' : pd.date_range('20130101', periods=50),
    'continue1' : pd.Series(3,index=list(range(50)),dtype='float32'),
    'continue2' : np.array([3,4,5,6,7] * 10,dtype='int32'),
    'categorial1' : ["test","train"]*25,
    'cateorial2' : ['male','female',np.nan]*15 + ['male','female','female','feamel','male'],
    'fillNan2' : list(range(0,45)) + ([np.nan]*5),
    'outlier':[-100] + list(range(0,48)) + [200],
    'y' :[0,1]*25
}
)
#查看数据类型:
playData.dtypes
#查看分类变量
playData.categorial1.value_counts()
playData.cateorial2.value_counts()
#查看数值型变量
playData.describe()

二、数据预处理

2.1数据预处理的主要任务

  • 数据清洗:填写空缺值,平滑噪声数据,识别、删除孤立点,解决不一致性
  • 数据集成:集成多个数据库,数据立方体,文件
  • 数据变换:规范化(消除冗余属性)和聚集(数据汇总),将数据从一个较大的子空间投影到一个较小的子空间
  • 数据归约:得到数据集的压缩表示,量小,但可以得到相近或相同的结果
  • 数据离散化:数据规约的一部分,通过概念分层和数据的离散化来规约数据,对数字型数据比较重要。

2.2数据预处理的方法

0.读取数据
1.缺失值&重复值&数值转化&替换值 处理
  • 忽略元组
  • 人工填写空缺值
  • 使用一个全局变量填充空缺值
  • 使用属性的平均值填充空缺值
  • 使用与给定元组属同一类的所有样本的平均值
  • 使用最可能的值填充空缺值,使用像Bayesian公式或判定树这样的基于推理的方法
2.异常值处理
  • 分箱(binning)
    首先排序数据,并将他们分到等深的箱中
    然后可以按箱的平均值平滑,按箱中值平滑,按箱的边界值平滑

  • 聚类:检测并且去除孤立点
    image.png

  • 计算机和人工检查结合:计算机检测可疑数据,然后对他们进行人工判断

  • 回归:通过让数据适应回归函数来平滑数据,对连续的数字型数据较好
3.数据变换
  • 平滑:去除数据中的噪声
  • 聚集:数据汇总
  • 规范化:将数据按比例缩放,使这些数据落入到一个较小的特定的区间之内。方法有:
    • 最小—最大规范化
    • Z-score规范化
    • 小数定标规范化
  • 属性的构造:通过现有属性构造新的属性,并添加到属性集中
  • 数据归约

    • 数据立方体聚集:数据立方体是根据不同的维度对数据进行汇总,立方体的越顶层,其汇总程度就越高,数据量就越少;
    • 维归约:用来检测或删除不相关的或基本不相关的属性或冗余属性或维,来减少数据量;
    • 数值归约:使用较小的,替代的数据来估计,替换,表示原数据(用参数模型):通过选择替代的,较小的数据表示形式来减少数据量;
    • 离散化:将连续属性的范围划分为区间,以减少所必需处理的数据的量。(分箱、直方图、聚类分析、聚类分析、)
4.不平衡数据处理

很多算法都有一个基本假设,那就是数据分布是均匀的
+ 采样:上采样(Oversampling)和下采样(Undersampling)
+ 数据合成:利用已有样本生成更多样本,这类方法在小数据场景下有很多成功案例(SMOTE)
+ 加权:对不同类别分错的代价基于不同的权重
+ 一分类:对于正负样本极不平衡的场景,我们可以换一个完全不同的角度来看待问题:把它看做一分类(One Class Learning)或异常检测(Novelty Detection)问题。这类方法的重点不在于捕捉类间的差别,而是为其中一类进行建模,经典的工作包括One-class SVM等

5.查看数据分布
#二值化
# binarizer = preprocessing.Binarizer(copy=True, threshold=0.0).fit(playData['outlier']) #does nothing 
# binarizer.transform(playData['outlier'])

#离散化
# ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]  
# bins = [18, 25, 35, 60, 100]  
# cats = pd.cut(ages, bins)  
# pd.DataFrame([ages,list(cats)]).T

#分类变量数值化
playData['categorial1'] = playData['categorial1'].replace('test',1).replace('train',0)
playData['cateorial2'] = playData['cateorial2'].replace('male',0).replace('feamel','female').replace('female',1)
#分类变量变成新特征值
pd.get_dummies(playData['categorial1'])
pd.get_dummies(playData['cateorial2'])
#上面的变换后与原始值加以区分
dummies = pd.get_dummies(playData['categorial1'], prefix='categorial1') 
df_with_dummy = playData[['categorial1']].join(dummies)  
df_with_dummy


#缺失值处理

playData['fillNan1'].fillna(playData.fillNan1.mean())
# playData['fillNan1'].fillna(-1)
playData['fillNan2'].fillna(playData.fillNan1.median())
playData = playData.fillna(0)

#异常值处理
# step1:看一下异常值

# import matplotlib.pyplot as plt
# playData['outlier'].hist()
# plt.show()

# step2: 异常值处理  + 数据标准化
# playData.loc[0,'outlier'] = playData.loc[1,'outlier'] 
# playData.loc[50,'outlier'] =  playData.outlier.max()

#数据变换
## 扩充维度
playData = playData.drop('date',axis=1)
ploy = preprocessing.PolynomialFeatures(degree=2, interaction_only=False, include_bias=True).fit(playData)
add_fea_data = pd.DataFrame(ploy.transform(playData))

## 异常值+ 标准化
from sklearn import preprocessing
scale = preprocessing.robust_scale(add_fea_data,quantile_range=(25.0, 75.0))
pd.DataFrame(scale)
#异常值处理举例
#异常值举例

'''
1  生成0~1之间的随机数据;
2  加入一些异常值;
3  用is_outlier()方法检测异常值;
4  绘制出两个数据的集合(x和filtered)的图表,观察他们的区别。
'''
import numpy as np
import matplotlib.pyplot as plt

def is_outlier(points, threshold=3.5):
    """
    返回一个布尔型的数组,如果数据点是异常值返回True,反之,返回False。

    数据点的值不在阈值范围内将被定义为异常值
    阈值默认为3.5
    """
    # 转化为向量
    if len(points.shape) == 1:
        points = points[:,None]

    # 数组的中位数
    median = np.median(points, axis=0)

    # 计算方差
    diff = np.sum((points - median)**2, axis=-1)
    #标准差
    diff = np.sqrt(diff)
    # 中位数绝对偏差
    med_abs_deviation = np.median(diff)

    # compute modified Z-score
    # http://www.itl.nist.gov/div898/handbook/eda/section4/eda43.htm#Iglewicz
    modified_z_score = 0.6745 * diff / med_abs_deviation

    # return a mask for each outlier
    return modified_z_score > threshold

# 随机数据(100个在0~1之间的浮点数)
x = np.random.random(100)

# 直方图桶数量
buckets = 50

# 加入一些异常值
x = np.r_[x, -49, 95, 100, -100]

# Keep inlier data points
# "~"操作符被重载为一个逻辑操作符,作用在布尔数组上时为取非操作
filtered = x[~is_outlier(x)]

# 画一个直方图
plt.figure()

plt.subplot(211)
plt.hist(x, buckets)


plt.subplot(212)
plt.hist(filtered, buckets)
plt.xlabel('Cleaned')

plt.show()
大多数的数据预处理 preprocessing能满足需求

from sklearn import preprocessing

小进阶
#map函数:是一种实现元素级转换以及其他数据清理工作的便捷方式。
playData['cateorial2'].fillna('male').map(str.upper)
# l = [random.randint(0,100) for i in range(10)]
# def sub50(a):
#     return a-50
# map(sub50,l)

#apply函数
playData['fillNan2'].apply(lambda x: x/100)

#group by
playData.groupby(['categorial1','cateorial2']).count()

#pd.pivot_table
pd.pivot_table(playData,index=['cateorial2'],columns=['categorial1'],values=['continue2'],aggfunc=np.sum)
大数据——数据预处理 数据预处理(data preprocessing)是指在主要的处理以前对数据进行的一系列处理,如对大部分地球物理面积性观测数据在进行转换或增强处理之前,首先将不规则分布的测网经过插值转换为规则网的处理,以利于计算机的运算。数据预处理是大数据分析中不可或缺的一环,涉及数据清洗、集成、规约和变换等多个步骤。通过清洗,去除无关、缺失和异常数据;集成,合并多个数据源;规约,精简数据量;变换,规范化和离散化数据,使之更适合挖掘和分析。数据预处理能显著提升数据质量,确保分析结果的准确性和稳定性。 阅读详情

相关推荐

Kettle数据采集和预处理工具的认知和基本应用

本实验任务主要完成基于Ubuntu环境的Ketlle数据采集工具的介绍和简单应用;并且增加对数据采集和预处理工具的了解。   通过完成本实验任务,要求学生对数据采集有一定的了解,为后续学习奠定基础。也为了掌握从事数据采集工程师等岗位的技能基础。完成实验实例,从mysql导出到excel完成简单的数据采集和处理。Unbunt 、 kettle、mysql数据采集(DAQ)又称数据获取,是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析、处理。   数据预处理的本质

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 2425

Python数据处理工具 ——Pandas(数据的预处理)

0、前言 本文将介绍强大的数据处理模块Pandas,该模块可以帮助数据分析师轻松地解决数据的预处理问题,如数据类型的转换、缺失值的处理、描述性统计分析、数据的汇总等。 通过本章内容的学习,读者将会掌握如下知识点,进而在数据处理过程中做到游刃有余,为后续的数据分析或机器学习做准备: 两种重要的数据结构,即序列和数据框; 如何读取外部数据(如文本文件、电子表格或数据库中的数据); 数据类型转换及描述性统计分析; 字符型与日期型数据的处理; 常见的数据清洗方法; 如何应用iloc、loc、与ix完成数据子集的生

Fo*(Bi)的博客 6374

【数据预处理】Python数据预处理常见操作

  文章总结了拿到原始数据后,做数据预处理的常见操作。后续会根据总结不断更新。 目录一、数据查看二、数据转换三、数据清洗1.异常值2.重复值3.缺失值四、数据获取五、数据合并1.join,基于index连接DataFrame的列2.merge,基于column连接,类似SQL的join3.concat,合并相同的Excel或给DataFrame添加行或列时使用六、其他操作1.数据分组聚合2.列表生...

WANG_hl的博客 4856

数据分析中的数据清洗与预处理工具

1.背景介绍 数据分析中的数据清洗与预处理工具 1. 背景介绍 数据分析是现代科学和工程领域中不可或缺的一部分。在数据分析过程中,数据清洗和预处理是非常重要的环节,它们可以直接影响数据分析的质量和准确性。数据清洗和预处理的目的是将原始数据转换为有用的数据,以便进行分析和挖掘。 数据清洗涂抹是指对数据进行清理和纠正,以消除不准确、不完整、不一致或冗余的数据。数据预处理是指对数据进行转换和规范...

AI天才研究院 1914

python数据预处理

在Python数据分析与可视化中,数据处理是一个关键的步骤,它包括数据预处理、数据分析和数据可视化。数据预处理是数据分析的第一步,它包括数据清洗、数据整合、数据转换等步骤。数据清洗的目的是消除异常值、缺失值和重复值,以确保数据的质量和准确性。数据整合则是将不同来源和格式的数据进行整合,形成一个统一的数据集。数据转换则是对数据进行必要的转换,以便于分析和可视化。数据分析是数据处理的重点,它包括探索性分析和预测性分析。探索性分析主要是对数据进行描述性统计、可视化、相关性分析等,以了解数据的分布、特征和规律。

2303_76177437的博客 1714

Python数据预处理

数据预处理是指在机器学习、数据分析和数据挖掘等领域中,对原始数据进行一系列的处理和转换,以便为后续的分析和建模做好准备。数据预处理是数据科学项目中的重要步骤,因为原始数据往往存在各种质量问题,如缺失值、异常值、重复数据、不一致的格式等,这些问题会直接影响模型的性能和最终结果的准确性。因此在数据分析中,对数据做数据预处理是必不可少的一个环节。

weixin_61663117的博客 2839

spss数据预处理步骤_数据预处理详解

简介由于当今数据的数量庞大且来自于各种不同类型的来源,因此出现数据异常的可能性不断增加。鉴于高质量数据可生成更好的模型和预测,数据预处理的重要性与日俱增,并且已经成为数据科学/机器学习/AI 管道中的基本步骤。在本文中,我们将探讨数据处理需求,并讨论用于完成此流程中每个步骤的不同方法。在数据收集过程中,存在三个影响数据质量的主要因素:准确率:与期望值之间存在偏差的错误值。数据不准确的原因多种多样,...

weixin_36289742的博客 7026

Sklearn中数据预处理

数据预处理 Sklearn中的模块preprocessing:几乎包含数据预处理的所有内容 数据无量纲化 在机器学习算法实践中,我们往往有着将不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布 的需求,这种需求统称为将数据“无量纲化”。 数据的无量纲化可以是线性的,也可以是非线性的。线性的无量纲化包括中心化(Zero-centered或者Mean subtraction)处理和缩放处理(Scale)。中心化的本质是让所有记录减去一个固定值,即让数据样本数...

sshi9的博客 5659

数据预处理 —— AI算法初识

AI算法对数据进行预处理的原因主要基于以下几个核心要点:1. **数据清洗**:- 数据通常包含缺失值、异常值或错误记录,这些都会干扰模型训练和预测准确性。通过预处理可以识别并填充/删除这些不完整或有问题的数据。2. **数据一致性**:- 不同来源或格式的数据可能存在差异,例如日期格式不统一、数值精度问题等。预处理有助于将数据转换为一致的格式,便于后续分析和建模。3. **特征缩放与标准化**:- 许多机器学习算法(如距离度量相关的K近邻、支持向量机等)在处理不同尺度的特征时表现不佳。

初心不忘产学研的博客 3182

数据的预处理

数据预处理一、数据可能存在问题二、数据预处理步骤1、数据预处理1.1 缺失值处理1.2 离群点检测1.3 重复数据处理2、数据转换2.1 将分类变量转换为数值2.2 处理数据不均衡问题2.3 数据的归一化、标准化 一、数据可能存在问题 在实际业务处理中,数据通常是脏数据。所谓的脏,指数据可能存在以下几种问题(主要问题): 数据缺失 数据噪声 (Noisy)是数据值不合常理的情况。如 Salary = “-100” 数据不一致 (Inconsistent)是数据前后存在矛盾的情况。如 Age =

阿斯达克 3039

脑电数据预处理,eeglab预处理采集的SSVEP数据

脑电数据预处理,eeglab预处理采集的SSVEP数据

weixin_43275631的博客 5817
上一篇: OneHot编码
下一篇: 各类模型参数汇总
RuDing
博客等级 码龄9年 19粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值