超级会员免费看
本文详细介绍了数据预处理的关键步骤，包括数据清洗、数据合并、数据重塑和数据转换。数据清洗涉及空值和缺失值的处理，如isnull(), notnull(), dropna(), fillna()等函数的使用，以及重复值和异常值的检测与处理。数据合并部分涵盖了concat(), merge(), join()等方法。数据重塑讲解了stack(), unstack()以及pivot()等操作，而数据转换则涵盖重命名轴索引、离散化连续数据和哑变量处理。文中通过具体案例展示了如何在实际数据分析中应用这些技术。"
113073365,10293067,混合算法求解FJSP：GA+TS解析,"['遗传算法', '禁忌搜索', '调度问题', '混合算法', '优化算法']
文章目录
零、学习目标
- 掌握数据清洗的常见操作
- 掌握数据合并的常用方法
- 掌握数据重塑的常见操作
- 掌握数据转换的常见操作
一、数据清洗
（一）数据清洗概述
- 数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。
- 数据清洗的目的在于提高数据质量，将脏数据清洗干净，使原数据具有完整性、唯一性、权威性、合法性、一致性等特点。
- 脏数据在这里指的是对数据分析
没有实际意义、格式非法、不在指定范围内的数据。
（二）空值和缺失值的处理
1、空值和缺失值概念
- 空值一般表示数据未知、不适用或将在以后添加数据。缺失值是指数据集中某个或某些属性的值是不完整的。一般空值使用
None表示，缺失值使用NaN表示。
2、空值和缺失值处理函数
- Pandas中提供了一些用于检查或处理空值和缺失值的函数或方法。使用
isnull()和notnull()函数可以判断数据集中是否存在空值和缺失值。对于缺失数
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
