pandas中如何处理缺失值

最新推荐文章于 2024-12-05 07:19:51 发布

原创

最新推荐文章于 2024-12-05 07:19:51 发布 · 2.6k 阅读

5 ·

CC 4.0 BY-SA版权

在处理包含缺失值的CSV文件时，可以使用Pandas的dropna(), drop() 和 fillna() 方法。Scikit-Learn的Imputer类允许用属性的中位数填充缺失值。通过fit()计算中位数，然后用transform()或fit_transform()替换缺失值。Scikit-Learn遵循一致性的API设计，包括估计器、转换器和预测器的角色，确保了模块的可组合性和易用性。" 136551595,11321830,Java面试深度解析：自旋锁、互斥锁与红黑树,"['java', '面试', '数据结构']

大多机器学习算法不能处理缺失的特征，因此先创建一些函数来处理特征缺失的问题。当在一些.csv文件中缺少某些值的时候，一般有三种方法解决：

1 去掉对应的整个属性

2 去掉缺失值所在的数据

3 将缺失值进行赋值

在pandas中，用 DataFrame 的 dropna() ，drop() ，和 fillna() 方法，可以方便地实现：

#去掉缺失值所在数据
data.dropna(subset=["years","salary","..."])

#去掉整个属性

data.drop("one",axis=1)

#替换缺失值
median = data["years"].median()
housing["year"].fillna(median)

Scikit-Learn 提供了一个方便的类来处理缺失值： Imputer 。

下面是其使用方法：首先，需要创建一个 Imputer 实例，指定用某属性的中位数来替换该属性所有的缺失值：

from sklearn.preprocessing import Imputer
imputer = Imputer(strategy="median")  
#其中的strategy是选择替换缺失值的方式，midian表示用中位数替换

#然后就可以将整个数据集放入imputer中
imputer.fit(data)

imputer 计算出了每个属性的中位数，并将结果保存在了实例变量 statistics_ 中，可以通过imputer.statistics_查看