数据清洗常用函数说明

Hour__

于 2021-07-15 19:53:51 发布

阅读量816

点赞数

文章标签：数据分析 python

本文链接：https://blog.youkuaiyun.com/Hour__/article/details/118766174

版权

本文介绍了数据清洗的关键步骤，包括缺失值的观察与处理，如删除和填充；重复值的观察与删除；以及特征的观察与处理，如数值型特征的分箱和文本型特征的转换。示例中提到了pandas库在数据处理中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、缺失值观察与处理
二、重复值观察与处理
- 1. 重复值的观察
- 2. 重复值的处理--删除
三、特征观察与处理

一、缺失值观察与处理

#加载所需的库
import numpy as np
import pandas as pd

#加载数据train.csv
df = pd.read_csv('train.csv')

1. 缺失值观察

df.info()  #按列读取数据的详细信息，包括列名、非空数和数据类型
df.isnull().sum() #按列返回缺失值的总数
df.isna().mean() #按列返回缺失值的比例
df[df.isna().any(1)] #返回至少有一个缺失值的行
					 #isna() 和 isnull()完全相同

2. 缺失值处理

（1）删除

 df.dropna(
        axis=0, #{0：'index', 1：'columns'}，默认为0，删除缺失值所在行
        h

最低0.47元/天解锁文章