数据清洗总结

数据清洗实战指南

最新推荐文章于 2024-06-09 20:59:55 发布

原创最新推荐文章于 2024-06-09 20:59:55 发布 · 1.4k 阅读

CC 4.0 BY-SA版权

37 篇文章

订阅专栏

31 篇文章

订阅专栏

本文详细介绍数据清洗中常见的问题及其解决方案，包括缺失值处理、重复数据删除、异常值剔除、数据类型转换等，并提供实际代码示例。

数据清洗可能遇到的问题及解决方法

遇到的问题	解决的方法
部分缺失：nan	检测缺失数据isnull(),然后删除dropna()或者填充fillna()
数据存在重复值：111,111,111	#检测重复数据 data.duplicated().sum() #删除重复值 data.drop_duplicates(inplace=True) len(data)
部分数据存在异常	删除
数据类型不统一	数据类型转换(两种方式都行） data['yuanjia']=data.yuanjia.map(lambda x:x.replace('万','')).astype('float64')
数据同时包含数值和字符串：16万	字符串处理 data['shoujia']=data.shoujia.map(lambda x:float(x.replace('万','')))
少部分数据不利于分析	数据替换