Python数据预处理（删除重复值和空值）

最新推荐文章于 2023-04-25 16:18:48 发布

原创最新推荐文章于 2023-04-25 16:18:48 发布 · 7.8k 阅读

40 ·

CC 4.0 BY-SA版权

文章标签：

#数据处理 #Python

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用Python的Pandas库进行数据预处理，包括读取Excel文件、删除重复值和处理缺失值等操作。通过具体示例展示了不同函数的应用场景，如drop_duplicates和dropna等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pandas几个函数的使用，大数据的预处理（删除重复值和空值），人工删除很麻烦
Python恰好能够解决
注释很详细在这不一一解释了

######################################
##### 读写excel(xls\xlsx)文件
import pandas as pd
import numpy as np
df_excel = pd.read_excel('data3.xlsx')
print('数据量行*列',df_excel.shape)
# # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存，无表头
print('数据集中存在重复观测的数量：\n',np.sum(df_excel.duplicated())) #F为不存在，T为存在，用sum显示重复的数量
print('删除行重复后的数据\n',df_excel.drop_duplicates(subset=None,keep='first',inplace=None))#excel文件中设定第一和第二行为重复行，结果删除了第二行保留第一行
                            ###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
                            #### 代码中subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。
                            #####keep='first'表示保留第一次出现的重复行，是默认值。keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。
                            #####inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本

print('数据集列中是否存在缺失值：\n',df_excel.isnull().any())              #F为不存在，T为存在
print('每一行的缺失值个数：',df_excel.isnull().sum(axis=1))
print('每一列的缺失值个数：',df_excel.isnull().sum(axis=0))

                    ####### df.isnull().sum(axis=0)每一列的缺失值个数
                    #####df.isnull().any()则会判断哪些”列”存在缺失值
df=df_excel.dropna()
print(df_excel.dropna(thresh=5))
                                # #axis=0: 删除包含缺失值（NaN）的行
                                # #axis=1: 删除包含缺失值（NaN）的列
                                # # how=‘any’ :要有缺失值（NaN）出现删除
                                # # how=‘all’: 所有的值都缺失（NaN）才删除
                                # 还有一个thresh参数
                                # thresh=n，保留至少有 n 个非 NaN 数的行

######drop用法
print(df_excel.drop(['edu'],axis=1))#按照列删除edu这一列
print(df_excel.drop([0],axis=0))#按照行删除0这一行