18、数据缺失值插补方法全解析

数据缺失值插补方法全解析

在数据处理过程中，缺失值是一个常见的问题。不同的插补方法各有优劣，下面将详细介绍几种流行的缺失值插补方法，包括随机回归插补、K近邻插补、随机森林插补以及使用PandasAI进行插补。

随机回归插补

回归插补是利用已有数据对某列进行值插补的有效方法，尤其在缺失值并非随机分布时，它通常优于一些简单的插补方法。然而，确定性回归插补存在两个重要局限性：一是假设回归变量（预测变量）与待插补变量之间存在线性关系；二是可能会大幅降低插补变量的方差。

而随机回归插补则不会人为降低方差。例如，通过以下代码可以实现随机回归插补：

np.where(nls97weeksworked.wageincome20.isnull(),
         nls97weeksworked.stochasticpred, nls97weeksworked.wageincome20)
nls97weeksworked[['wageincomeimpstoc','wageincome20']].agg(['count','mean','std'])

插补后的变量与工资收入变量具有相近的标准差，说明随机回归插补取得了较好的效果。

K近邻插补

K近邻（KNN）是一种流行的机器学习技术，因其直观、易于运行且在变量和观测值数量不多时能产生良好结果，常被用于缺失值插补。KNN通过识别与每个观测值变量最相似的k个观测值来确定填充值。

准备工作

使用scikit-learn版本1.3.0中的KNN插补