缺失值填充的几种方法

原创

已于 2024-05-06 18:06:54 修改 · 9.3w 阅读

711 ·

CC 4.0 BY-SA版权

文章标签：

#缺失值填充 #knn

于 2018-09-12 22:59:51 首次发布

本文总结了在面试中讨论的缺失值填充方法，包括固定值、均值、中位数、众数、KNN、插值、模型预测等，并在天池精准医疗大赛数据集上进行了比较。实验选用逻辑回归模型，以F1 score作为评价指标，强调了选择填充方法应根据数据特性和应用场景来决定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

面试不仅仅是一个找工作的过程，还是一个向面试官交流学习的过程。之前的某次面试中，聊到了缺失值填充方法，经面试官指点学到了一些技能，下面简要总结一下。

常见的缺失值填充方法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。

1. 数据集介绍

数据集来源于天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测。该数据集共有1000条数据，特征共83维，加上id和label共85列，每维特征缺失数量范围为0~911。为了简单比较各种填充方法的效果，我们选取最简单的二分类模型（逻辑回归），选取F1 score作为评测指标。

读取数据集代码如下：

train_data = pd.read_csv('train_data.csv', encoding='gbk') # 读取数据集

filter_feature = ['id','label'] # 过滤无用的维度
features = []
for x in train_data.columns: # 取特征
    if x not in filter_feature:
        features.append(x)

train_data_x = train_data[features] 
train_data_y = train_data['label']
X_train, X_test, y_train, y_test = train_test_split(train_data_x, train_data_y, random_state=1) # 划分训练集、测试集

2. 常见的填充方法

（1）填充固定值

选取某个固定值/默认值填充缺失值。

train_data.fillna(0, inplace=True) # 填充 0

（2）填充均值

对每一列的缺失值，填充当列的均值。

train_data.fillna(train_data.mean(),inplace=True) # 填充均值

（3）填充中位数

对每一列的缺失值，填充当列的中位数。

train_data.fillna(train_data.median(),inplace=True) # 填充中位数

（4）填充众数

对每一列的缺失值，填充当列的众数。由于存在某列缺失值过多，众数为nan的情况，因此这里取的是每列删除掉nan值后的众数。

train_data.fillna(train_data.mode(),inplace=True) # 填充众数,该数据缺失太多众数出现为nan的情况
features_mode = {}
for f in features:
    print f,':', list(train_data[f].dropna().mode().values)
    features_mode[f] = list(train_data[f].dropna().mode().values)[0]
train_data.fillna(features_mode,inplace=True)

（5）填充上下条的数据

对每一条数据的缺失值，填充其上下条数据的值。

train_data.fillna(method='pad', inplace=True) # 填充前一条数据的值，但是前一条也不一定有值
tr

最低0.47元/天解锁文章

200万优质内容无限畅学