学习笔记(10):Python数据清洗实战-课程总结

立即学习:https://edu.youkuaiyun.com/course/play/26990/361137?utm_source=blogtoedu

数据清洗步骤

1. 数据获取，read_csv    read_excel
2. 数据获取，shape，describe，info函数
3. 行列操作，loc  ,iloc函数
4. 数据整合，对不同数据源进行整理
5. 数据类型转换，对不同字段数据类型进行转换
6. 分组汇总，对数据进行各个维度的计算
7. 处理重复值、缺失值、异常值以及数据离散化

函数

1. merge，concat常用于数据整合
2. pd.to_datetime日期格式转换
3. str函数用于字符串操作
4. astype数据类型转换
5. apply，map用于更加高级的数据处理
6. Groupby创建分组对象
7. 透视表函数pd.pivot_table和交叉表pd.crosstab
8. 分组对象和agg结合使用，统计需要的信息