数据分析：Pandas自定义describe方法，一行代码查看数据集各列的描述

最新推荐文章于 2025-06-05 10:31:50 发布
置顶 最新推荐文章于 2025-06-05 10:31:50 发布
阅读量7.1k 收藏 10
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 数据分析 机器学习 文章标签： describe pandas 缺失率
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/opp003/article/details/89944895
博客介绍了Pandas的describe方法，它能查看各列计数、均值、最大最小值等。还介绍了一种可按需添加各特征其他描述的方法，通过转置和添加列，实现展示各列多种统计值，并增加了缺失率的计算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pandas提供describe方法，可以查看各列的计数、均值、最大最小值等，功能强大。下面介绍一种可根据自身要求，添加各个特征的其他描述的方法。

df.describe().T.assign(missing_rate = df.apply(lambda x : (len(x)-x.count())/float(len(x))))

T为转置，assign为添加的列。 

上述代码实现了，展示各列的计数、均值、最大最小值、标准差和第一、二、三个四分位值，同时增加了缺失率的计算。

 

 countmeanstdmin25%50%75%max
SeriousDlqin2yrs150000.00.0668400.2497460.00.0000000.0000000.0000001.00.000000
RevolvingUtilizationOfUnsecuredLines150000.06.048438249.7553710.00.0298670.1541810.55904650708.00.000000
age150000.052.29520714.7718660.041.00000052.00000063.000000109.00.000000
NumberOfTime30-59DaysPastDueNotWorse150000.00.4210334.1927810.00.0000000.0000000.00000098.00.000000
DebtRatio150000.0353.0050762037.8185230.00.1750740.3665080.868254329664.00.000000
MonthlyIncome120269.06670.22123714384.6742150.03400.0000005400.0000008249.0000003008750.00.198207
NumberOfOpenCreditLinesAndLoans150000.08.4527605.1459510.05.0000008.00000011.00000058.00.000000
NumberOfTimes90DaysLate150000.00.2659734.1693040.00.0000000.0000000.00000098.00.000000
NumberRealEstateLoansOrLines150000.01.0182401.1297710.00.0000001.0000002.00000054.00.000000
NumberOfTime60-89DaysPastDueNotWorse150000.00.2403874.1551790.00.0000000.0000000.00000098.00.000000
NumberOfDependents146076.00.7572221.1150860.00.0000000.0000001.00000020.00.026160

最后一列为自定义的缺失率（复制的列名没显示出来）

数据分析必问：Pandas面试题及参考答案
大模型大数据攻城狮的专栏
05-22 2260
DataFrame是Pandas库中的一个核心数据结构，它类似于Excel中的表格，可以存储不同类型的数据。在Pandas中，抽样操作通常很简单，但是需要根据数据的特点和分析的需求来选择合适的抽样方法。数据标准化和归一化是数据预处理中常用的技术，目的是将数据调整到一个合适的范围内，以消除不同特征量纲和数值范围的差异，从而保证模型训练的有效性。CSV文件是一种文本文件，其中的数据以逗号分隔。不平衡数据集指的是数据集中各类别样本的数量差异较大的情况，这可能导致模型训练出现偏差，影响模型的泛化能力。
数据分析第六讲：pandas应用入门（一）
weixin_46863529的博客
06-16 896
- 创建`Series`对象 - `Series`对象的运算 - `Series`对象的属性和方法
kaggle上的Give Me Some Credit数据用于数据挖掘分析
07-30
kaggle上的Give Me Some Credit数据的挖掘分析，结合信用评分卡的建立原理，从数据的预处理、变量选择、建模分析到创建信用评分，创建了一个简单的信用评分系统
kaggle的give me some credit数据集
m0_63054020的博客
07-21 514
Give Me Some Credit 数据集，供下载研究学习使用，请勿商业用途
python数据分析中pandas统计分析基础之DataFrame的使用操作
最新发布
w123_8889的博客
06-05 963
pandas是一个开源的数据分析库，提供了丰富强大的数据结构和数据分析工具，其中最常用的数据结构是DataFrame。DataFrame是一个二维的数据结构，类似于电子表格或SQL表，每列可以是不同的数据类型。通过pandas的DataFrame，我们可以轻松地加载、处理、分析和操作数据。DataFrame的基本操作包括：通过pandas提供的这些功能，我们可以方便地进行各种数据分析任务，如数据清洗、数据整合、数据探索等。在数据科学与数据分析领域，高效处理和分析数据是获取洞察、驱动决策的核心。而DataFr
kaggle “give me some credit”数据集
02-22
kaggle “give me some credit”数据集
kaggle_GiveMeSomeCredit_建模比赛
lvhuike的博客
02-22 1094
提交结果： 我的private score 0.86699, public score 0.86101, 榜单第一名private score 0.86955, public score 0.86390. Importing libraries import pandas as pd import numpy as np import os from sklearn.ensemble import RandomForestClassifier from sklearn.ensemble import G
来自Kaggle的Give Me Some Credit数据
11-12
数据来自Kaggle的Give Me Some Credit，有15万条的样本数据，下图可以看到这份数据的大致情况。 数据属于个人消费类贷款，只考虑信用评分最终实施时能够使用到的数据应从如下一些方面获取数据： – 基本属性：包括了借款人当时的年龄。 – 偿债能力：包括了借款人的月收入、负债比率。 – 信用往来：两年内35-59天逾期次数、两年内60-89天逾期次数、两年内90 天或高于90天逾期的次数。 – 财产状况：包括了开放式信贷和贷款数量、不动产贷款或额度数量。 – 贷款属性：暂无。 – 其他因素：包括了借款人的家属数量（不包括本人在内）。 – 时间窗口：自变量的观察窗口为过去两年，因变量表现窗口为未来两年。
Python数据分析实践：pandas数据结构new.pdf
06-14
【Python数据分析实践：pandas数据结构】 Pandas是Python中用于数据分析的核心库，它基于NumPy构建，提供了高效且易用的数据处理工具。Pandas的主要目标是使数据清洗和分析变得简单，它广泛应用于学术研究、金融...
Pandas数据分析代码
04-25
例如，`head()`用于查看数据集的前几行，`describe()`则提供了一组统计数据，如均值、中位数、标准差等。 在数据清洗方面，Pandas允许用户方便地处理缺失值。`isnull()`和`notnull()`函数可以检查值是否缺失，而`...
Python数据分析：Pandas入门，轻松处理房间尺寸数据集
本文首先概述了Python数据分析的基本概念和Pandas库的基础知识，包括其数据结构Series和DataFrame的使用以及数据导入与清洗的方法。随后，通过房间尺寸数据集的实践案例，演示了数据预处理、探索性数据分析和相关性...
Give Me Some Credit
07-30
这是本人从kaggle官网下载下来的Give Me Some Credit竞赛的相关数据，自己目前也在学习这一块内容，希望大家一起学习。
kaggle 上“give me some credit” 信用比赛的原始数据
04-28
这是从kaggle 上下载的“give me some credit” 信用比赛的原始数据，用于个人信用评估相关机器学习模型
give_me_some_credit_data
12-05
give_me_some_credit_data
give me some credit data
08-22
give me some credit data
Kaggle give me some credit数据集
05-21
Give Me Some Credit是Kaggle上关于信用评分的项目，通过改进信用评分技术，预测未来两年借款人会遇到财务困境的可能性。银行在市场经济中发挥关键作用。 他们决定谁可以获得融资，以及以何种条件进行投资决策。 为了市场和社会的运作，个人和公司需要获得信贷。信用评分算法可以猜测违约概率，这是银行用于确定是否应授予贷款的方法。目标是建立一个借款人可以用来帮助做出最佳财务决策的模型。
59_Pandas中使用describe获取每列的汇总统计信息（平均值、标准差等）
热门推荐
qq_18351157的博客
04-10 1万+
使用 pandas.DataFrame 和 pandas.Series 的 describe() 方法，您可以获得汇总统计信息，例如每列的均值、标准差、最大值、最小值和众数。在此，对以下内容进行说明。示例代码中，以每列具有不同类型 dtype 的 pandas.DataFrame 为例。
金融风控信用评分卡建模（Kaggle give me credit数据集）
weixin_43488159的博客
04-23 3602
风控信用评分卡
数据分析：Pandas + NumPy（数据清洗与统计计算）这个具体是怎么实现的呢
03-30
<think>嗯，用户想知道怎么用Pandas和NumPy做数据清洗和统计计算。首先我得回忆一下这两个库的基本功能。Pandas主要是处理结构化数据的，比如表格数据，而NumPy擅长数值计算，尤其是数组操作。根据引用[2]和[3]，它们经常一起使用，Pandas依赖NumPy的高性能运算。 数据清洗通常包括处理缺失值、重复数据、异常值，还有数据转换。比如，Pandas的dropna()可以处理缺失值，fillna()填充。重复数据用drop_duplicates()。异常值可能需要用条件筛选或者统计方法识别，比如Z-score，这可能需要NumPy计算标准差和均值。 统计计算部分，用户可能想知道基本的统计量如均值、总和，或者更复杂的如分组聚合。Pandas的describe()函数能给出摘要统计，而groupby()进行分组。NumPy的mean(), std()这些函数可以在数组上快速计算。引用[4]提到iloc用于数据提取，可能在清洗时选择特定行列有用。 还要注意数据导入，像引用[1]提到的，Pandas可以读CSV、Excel等，数据导入后才能清洗和处理。可能需要提到读取数据后如何用NumPy进行转换，比如将DataFrame转为NumPy数组进行运算。 可能需要分步骤讲解，先数据导入，再清洗步骤，然后统计计算。例子的话，比如处理缺失值，替换为均值，用NumPy计算均值，再用Pandas填充。或者标准化数据，用NumPy计算Z-score，然后用Pandas过滤异常值。 用户可能还不太清楚如何结合两者，比如什么时候用Pandas的函数，什么时候用NumPy。比如，Pandas更适合表格操作，而NumPy适合数值运算。比如，处理缺失值时用Pandas，计算统计量时可以用Pandas或NumPy，但NumPy可能更快，尤其是大数据集。 还要注意代码示例的正确性，比如使用$...$格式的行内公式，独立公式用$$...$$。比如，在标准化时，公式是$$z = \frac{x - \mu}{\sigma}$$，需要正确排版。同时引用相关引用，比如提到数据导入时引用[1]，数据处理时引用[2]和[3]。 可能的问题包括如何选择处理缺失值的方法，如何优化性能，或者如何处理非数值数据。但用户的问题主要聚焦在清洗和统计，所以需要集中在这些方面。最后生成的相关问题要围绕这些主题，比如数据预处理步骤、性能优化、实际案例应用等。 总结步骤应该是：数据导入→清洗（缺失、重复、异常）→统计计算（基本统计量、聚合、高级分析）。每个步骤结合Pandas和NumPy的方法，给出示例代码，并引用相关引用支持。</think>### 使用Pandas和NumPy实现数据清洗与统计计算的步骤 #### 一、数据导入与初步检查 1. **数据导入** 使用Pandas读取外部数据，支持CSV、Excel、SQL等格式： ```python import pandas as pd import numpy as np # 读取CSV文件 df = pd.read_csv('data.csv') ``` 引用[1]提到Pandas的数据导入功能是数据处理的第一步[^1]。 2. **数据预览与基本信息** ```python df.head() # 查看前5行 df.info() # 数据类型和缺失值检查 df.describe() # 数值型变量的统计摘要（均值、标准差等） ``` --- #### 二、数据清洗核心操作 1. **处理缺失值** - **删除缺失值**： ```python df.dropna(axis=0) # 删除包含缺失值的行 ``` - **填充缺失值**： ```python df.fillna(df.mean()) # 用列均值填充数值型缺失值 df['category_column'].fillna('Unknown', inplace=True) # 分类列填充固定值 ``` - **结合NumPy的条件筛选**： ```python mask = np.isnan(df['column']) # 使用NumPy检测缺失值 df.loc[~mask, 'column'] # 过滤非缺失值 ``` 2. **处理重复值** ```python df.drop_duplicates() # 删除完全重复的行 ``` 3. **处理异常值** - **基于标准差（Z-score）**： $$ z = \frac{x - \mu}{\sigma} $$ 使用NumPy计算Z-score并过滤： ```python z_scores = np.abs((df['column'] - df['column'].mean()) / df['column'].std()) df = df[z_scores < 3] # 移除Z-score绝对值大于3的异常值 ``` - **分位数法**： ```python q_low = df['column'].quantile(0.01) q_high = df['column'].quantile(0.99) df = df[(df['column'] > q_low) & (df['column'] < q_high)] ``` 4. **数据格式转换** ```python df['date_column'] = pd.to_datetime(df['date_column']) # 转换为日期格式 df['category_column'] = df['category_column'].astype('category') # 转换为分类类型 ``` --- #### 三、统计计算与高级分析 1. **基础统计量** - **Pandas内置函数**： ```python df.mean() # 均值 df.median() # 中位数 df.std() # 标准差 ``` - **NumPy函数增强计算**： ```python np.percentile(df['column'], [25, 75]) # 计算四分位数 ``` 2. **分组聚合** ```python grouped = df.groupby('category_column') grouped['numeric_column'].agg([np.mean, np.sum]) # 按分组计算均值与总和 ``` 3. **相关性与协方差** ```python df.corr() # 计算列间相关系数矩阵 np.cov(df['column1'], df['column2']) # 使用NumPy计算协方差 ``` 4. **自定义统计函数** ```python def custom_range(x): return x.max() - x.min() df['column'].agg(custom_range) # 应用自定义函数 ``` --- #### 四、完整示例：数据清洗与统计流程 ```python # 数据导入 df = pd.read_csv('sales_data.csv') # 清洗：处理缺失值与异常值 df.fillna({'price': df['price'].median()}, inplace=True) z_scores = np.abs((df['sales'] - df['sales'].mean()) / df['sales'].std()) df = df[z_scores < 3] # 统计计算：按地区分组统计销售额均值 result = df.groupby('region')['sales'].mean() print(result) ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值