学习笔记(25):Python数据清洗实战-课程总结

立即学习:https://edu.youkuaiyun.com/course/play/26990/361137?utm_source=blogtoedu

最后的总结

 

数据清洗步骤：

1. 数据获取， 使用read_csv或者read_excel
2. 数据探索， 使用shape, describe或者info函数
3. 行列操作， 使用loc或者iloc函数
4. 数据整合， 对不同数据源进行整理
5. 数据类型转换， 对不同字段数据类型进行转换
6. 分组汇总， 对数据进行各个维度的计算
7. 处理重复值、缺失值和异常值以及数据离散化

常用函数：

1. merge、concat 函数常常用于数据整合
2. pd.to_datatime常常用于日期格式转换
3. str函数用于字符串操作
4. 函数astype 用于数据类型转换
5. 函数apply 和 map 用于更加高级的数据处理
6. Groupby用于创建分组对象
7. 透视表函数pd.pivot_table和交叉表pd.crosstab
8. 分组对象和agg 结合使用， 统计需要的信息

数据清洗内容：

1. 选择子集
2. 重命名列
3. 缺失数据处理
4. 数据类型转换
5. 字符串的处理
6. 时间日期的处理
7. 数据排序
8. 异常值处理

数据清洗之总结：

数据清洗实质上是将实际业务问题中， 脏数据清洗干净， 转换为‘干净的数据‘，所谓的脏，指以下几种问题（主要问题）：