本文详细介绍了如何使用Pandas进行数据清洗，特别是针对缺失值的处理。从缺失值的判断（识别np.nan和None为空值）、过滤（通过dropna()方法删除含空值的行或列）到填充（值填充、向前/向后填充），提供了一系列的解决方案，帮助读者掌握Pandas处理数据缺失值的技巧。
pandas-02-数据清洗&预处理
文中用S代指Series，用Df代指DataFrame
数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清洗的常用方法：包括缺失值、重复值、异常值处理，数据类型统计，分箱，随机采样，向量化编码等方法。每种方法都给出了代码和实例，并用表格进行总结。
A.缺失值处理
1. Pandas缺失值判断
- np.nan 会自动识别为NaN （not a number），认定为空值
- python中内置的None,认定为空值
- csv文件中两个逗号之间什么都没有，读取时默认用NaN代替，认定为空值
- 注意pandas会将缺失值类型识别为float64，这将导致数据类型不统一的问题，C部分会说明解决方法
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
