3、数据探索与集成机器学习入门

数据探索与集成机器学习入门

1. 数据缺失值处理

1.1 缺失值识别与处理步骤

在处理数据集时，首先要识别和处理缺失值。以下是具体步骤：
1. 查看缺失值情况 ：通过查看变量的绝对值和百分比，发现 Alley 变量超过93%的值缺失。但查阅数据描述后发现， Alley 变量的 No Access to Alley 值在数据集中被编码为 NA ，Python将其视为缺失值。在步骤3中，将 Alley 中的 NA 替换为 No Access 。
2. 绘制缺失值图表 ：使用 seaborn 库绘制缺失值图表，缺失值用白色表示，有数据的部分用颜色表示。从图表中可以看出 Alley 不再有缺失值。
3. 处理数值变量缺失值 ：发现数值变量 LotFrontage 超过17%的值缺失，决定用该变量的中位数填充缺失值。再次查看缺失值图表，发现 Alley 和 LotFrontage 没有白色标记，表明这两个变量没有进一步的缺失值。
4. 处理编码为NA的数据 ：识别出一些变量的数据被编码为 NA ，导致Python将其视为缺失值。将这些编码值替换为