7、数据缺失值处理：从基础方法到高级算法

数据缺失值处理：从基础方法到高级算法

在数据分析和机器学习中，处理缺失值是一个常见且重要的任务。缺失值的存在可能会影响模型的准确性和可靠性，因此需要采用合适的方法来处理它们。本文将介绍几种常见的缺失值处理方法，包括简单的统计替换、回归插补和K近邻（KNN）插补，并通过具体的代码示例展示如何应用这些方法。

1. 数据加载与缺失值识别

首先，我们加载NLS数据并选择部分教育相关的数据。以下是具体的代码：

import pandas as pd
nls97 = pd.read_csv("data/nls97b.csv")
nls97.set_index("personid", inplace=True)
schoolrecordlist = [
    'satverbal', 'satmath', 'gpaoverall', 'gpaenglish',
    'gpamath', 'gpascience', 'highestdegree',
    'highestgradecompleted'
]
schoolrecord = nls97[schoolrecordlist]
print(schoolrecord.shape)

通过 schoolrecord.isnull().sum(axis=0) 可以查看每个特征的缺失值数量，结果如下：
| 特征 | 缺失值数量 |
| — | — |
| satverbal | 7578 |
| satmath | 7577 |
| gpaoverall | 298