关于使用Sklearn进行数据预处理 —— 缺失值（Missing Value）处理

最新推荐文章于 2021-09-23 18:13:20 发布

Goldxwang

最新推荐文章于 2021-09-23 18:13:20 发布

阅读量1.5k

点赞数

分类专栏：大数据计算文章标签：数据

本文链接：https://blog.youkuaiyun.com/Goldxwang/article/details/73201641

版权

本文介绍了如何使用Sklearn的preprocessing包中的Imputer类处理数据集中的缺失值。通过将缺失值替换为'nan'，转换为浮点型，然后利用均值进行填充，实现数据预处理。同时，对于非Numpy数组来源的数据，展示了如何处理不同缺失值编码的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于缺失值（missing value）的处理

在sklearn的preprocessing包中包含了对数据集中缺失值的处理，主要是应用Imputer类进行处理。

首先需要说明的是，numpy的数组中可以使用np.nan/np.NaN（Not A Number）来代替缺失值，对于数组中是否存在nan可以使用np.isnan()来判定。

使用type(np.nan)或者type(np.NaN)可以发现改值其实属于float类型，代码如下：

 
        >>>  
        type 
        (np.NaN) 
       
        < 
        type 
        'float' 
        > 
       
        >>>  
        type 
        (np.nan) 
       
        < 
        type 
        'float' 
        > 
       
        >>> np.NaN 
       
        nan