数据分析--Python常用数据预处理方法

最新推荐文章于 2024-06-21 13:19:16 发布

原创最新推荐文章于 2024-06-21 13:19:16 发布 · 873 阅读

CC 4.0 BY-SA版权

3 篇文章

订阅专栏

博客介绍了数据处理的常用方法，包括查看数据缺失、重复数据，数据排序，删除重复数据，判断字符串包含字符等。还列举了几种简单填充缺失值的方法，如固定值填充、均值填充、众数填充、上下数据填充和插值法填充。

查看数据缺失

data.isnull() #缺失返回True
(data.isnull).sum	#返回缺失条数

查看重复数据

data.duplicated() #与之前数据重复的行返回True
'''参数 subset = ['obj1','obj2'] '''#对obj1,obj2这两列进行查重	
(data.duplicated()).sum #汇总重复的条数

数据排序

data.sort_values() #可以将Nan值默认排到后面，以便删除
'''
	参数 by = 'obj1' #对obj1这一列进行排序
	参数 inplace = True #这样将直接修改数据
'''

删除重复数据

data.drop_duplicates() #删除重复数据
'''参数 subset = ['obj1','obj2']''' #将obj1,obj2这两列的重复值删除

字符串是否包含某些字符

data.obj1.str.contains('str1') #obj1这一列是否有包含str1这个字符串的项

固定值填充

# 都填90
df['taixin'] = df['taixin'].fillna('90')

均值填充

# 数据需是int或float类型
df['taixin'] = df['taixin'].fillna(df['taixin'] .mean())

众数填充

# 数据需是int或float类型
df['taixin'] = df['taixin'].fillna(df['taixin'] .mode())

上下数据填充

# 用前一个非缺失值填充
 df['taixin'] = df['taixin'].fillna(method='pad') 

# 用后一个非缺失值填充
 df['taixin'] = df['taixin'].fillna(method='bfill')

插值法填充

#前后非缺失值的均值填充
 df['taixin'] = df['taixin'].interpolate()