Python计算缺失数据中行列的缺失个数及其对应的缺失率

最新推荐文章于 2023-05-16 21:50:31 发布

Dxy17

最新推荐文章于 2023-05-16 21:50:31 发布

阅读量6.4k

点赞数 8

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： missing percent

本文链接：https://blog.youkuaiyun.com/m0_37548423/article/details/85269541

Python 专栏收录该内容

33 篇文章

订阅专栏

本文介绍了一种使用Python pandas库计算数据集中行和列缺失值数量及比例的方法，帮助理解数据完整性，为数据预处理提供依据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在对数据进行分析时，我们不可避免的会遇到不完整的数据，对这些不完整的数据进行处理之前我们需要了解数据缺失的情况，以下代码展示了怎么计算不完整数据中行列的缺失情况。

#导入pandas包
import pandas as pd

def miss_row(data):
    """
    input：原始数据
    output：行的缺失个数和缺失率
    """
    row, col = data.shape
    row_miss = []
    row_total = []
    for i in range(row):
        w = data.iloc[i,:].isnull().sum()#第i行缺失的总数
        row_total.append(w)
        row_miss.append(w.sum()/col)
    row_miss = pd.Series(row_miss)
    row_total = pd.Series(row_total)
    row_miss.index = data.index#要保证row_miss和data的index相同
    row_percent = row_miss.sort_values(axis = 0,ascending = False)#对其进行排序
    row_total = row_total.sort_values(axis = 0,ascending = False)
    return row_total, row_percent

def miss_col(data):
    """
    input:原始数据
    output：列的缺失个数和缺失率
    """
    col_total = data.isnull().sum().sort_values(ascending=False)#从大到小按顺序排每个特征缺失的个数
    col_percent =(data.isnull().sum()/data.isnull().count()).sort_values(ascending=False)#从大到小按顺序排每个特征缺失率
    
    return col_total, col_percent

if __name__ == '__main__':
    
    #读取数据
    data = pd.read_csv("data_test.csv")

    miss_rnum, miss_rper = miss_row(data)
    miss_cnum, miss_cper = miss_col(data)