pandas高级篇—apply

最新推荐文章于 2025-06-26 09:11:06 发布
原创 最新推荐文章于 2025-06-26 09:11:06 发布 · 1.2w 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了使用Pandas库进行数据分析的几种实用技巧，包括利用apply函数处理数据、使用head()函数快速预览数据集以及如何结合cut和qcut函数进行分位数分析。通过这些方法，读者可以更高效地完成数据预处理和探索性分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.apply

apply会将待处理的对象拆分成多个片段，然后对各片段调用传入的函数，最后尝试将各片段组合到一起

2.head()

（1）默认查找前五条数据，head(n)查找前n条数据
这里写图片描述
（2）定义函数，(函数名为top）查找前n条数据
这里写图片描述
（3）apply（）——–>分别求出抽烟和不抽烟的客户中消费占比排在前五的客户
这里写图片描述
这里写图片描述
（4）如果传给apply的函数能够接受其他参数或关键字，则可以将这些内容放在函数名后面一并传入
这里写图片描述

3.分位数和桶分析

pandas有一些能根据指定面元或样本分位数将数据拆分成多块的工具（比如cut和qcut）。
将这些函数跟groupby结合起来，就能非常轻松地实现对数据集的桶（bucket）或分位数
（quantile）分析了

（1）pd.cut
这里写图片描述
（2）定义函数，对数据进行统计
这里写图片描述
（3）定义函数，求加权平均数
这里写图片描述

messi_james
关注
Pandas性能优化:进阶篇
JanLEE
10-24 1198
在这里介绍一些更高级的pandas优化方法。
学习pandas apply方法，看这一篇就够了，你该这么学，No.10
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
05-29 1万+
最近好忙啊，好忙啊，忙的写不动博客了 时间过得飞快 一晃，一周就过去了 本着不进步就倒退的性格 我成功的在技术上面划水了一周 今天要学习的还是groupby的高级进阶 说是高级，其实就是比初级复杂了一些 有点绕，然后不容易明白 就成为高级了 其实对于pandas来说 应该还是基础部分 我们今天要学习的就是 自定义更丰富的分组运算 apply 方法 apply方法的价值 对于有些数据类型来说 是...
Python数据分析之数据聚合与分组运算
dawdaddad的博客
05-17 2946
1.分组与聚合的原理 在Pandas中： ​分组：指使用特定的条件将原数据划分为多个组； ​聚合：对每个分组中的数据执行某些操作，最后将计算的结果进行整合。 1.2分组与聚合的过程分为三步 1.2.1拆分 将数据集按照些标准拆分为若干个组。split拆分方法 1.2.2应用 将某个函数或方法（内置和自定义均可）应用到每个分组。apply方法应用 1.2.3合并 将产生的新值整合到结果对象中。combine方法整合 2. 通过groupby()方法将数据拆分成组 ​ 在Pandas中，可以通..
Python数据处理神器pandas，图解剖析分组聚合处理
qq_43058731的博客
10-09 260
前言 身边有许多正在学习 Python 的 pandas 库做数据处理的小伙伴们都遇到一个问题——分组聚合。 网上很多这方面的资料，几乎都是列出一系列诸如 "xx方法不能用 Python 内置函数" 之类的规则。小伙伴都说记不住啊。 本文尝试把内部原理机制教会你，让你无需记忆这么多死板的规则即可灵活运用。 本文主要涉及的函数和要的： groupby apply agg tran...
使用Pandas实现加权平均计算：pbpython项目实战解析
gitblog_00562的博客
06-26 342
使用Pandas实现加权平均计算：pbpython项目实战解析 引言 在数据分析领域，加权平均是一种比简单算术平均更精确的计算方法，它考虑了不同数据点的重要性差异。本文将通过pbpython项目中的销售数据分析案例，详细介绍如何使用Pandas实现加权平均计算，并展示如何将其应用于实际业务场景。 加权平均基础概念 加权平均（Weighted Average）是一种考虑每个数据点权重的平均值计算方法...
python/pandas数据分析（十五）-聚合与分组运算实例
python|大数据爱好者Alvin
01-09 2244
填充值
利用python进行数据分析之数据聚合和分组运算--小白笔记
m0_53653044的博客
09-05 1942
GroupBy机制 split-apply-combine(拆分-应用-合并) import pandas as pd import numpy as np df=pd.DataFrame({'key1':['a','a','b','b','a'], 'key2':['one','two','one','two','one'], 'data1':np.random.randn(5), 'data2':np.
【大数据处理与可视化】五、数据聚合与分组运算
慢热型网友的博客
05-29 2778
通过本次实验，我能熟练运用groupby()方法对数据进行分组，能够熟练运用统计方法和聚合操作对数据进行聚合，及其它常用的分组级运算方法。在实验过程中遇到了很多硬件或者是软件上的问题，请教老师，询问同学，上网查资料，都是解决这些问题的途径。4、尽我能力帮助他人，在帮助他人的同时你会深刻巩固知识。（2）统计男篮运动员的年龄、身高、体重的极差值。（1）统计篮球运动员的平均年龄、身高、体重。3、选择交流平台，如QQ群，网站论坛等。1、有疑问前，知识学习前，先用搜索。（3）统计篮球运动员的体质指数。
【进阶篇】高级数据处理技巧：Pandas中的GroupBy与Apply
[【进阶篇】高级数据处理技巧：Pandas中的GroupBy与Apply](https://img-blog.csdnimg.cn/f90645b6b5f244658a0a03804c10928a.png) # 2.1 分组聚合函数 ### 2.1.1 常用聚合函数 Pandas 提供了丰富的聚合函数，用于对...
Pandas 学习（数学建模篇） 2023-C228论文复现（数据处理部分）
最新发布
07-07
在本篇论文复现的内容中，我们专注于Pandas在数学建模数据处理部分的应用。数据处理是数学建模的初始且关键步骤，通常涉及数据清洗、数据预处理、缺失值处理、异常值处理等。Pandas提供了便捷的方法来实现这些数据...
pandas | 详解DataFrame中的apply与applymap方法
TechFlow的博客
08-10 1190
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是pandas数据处理专题的第5篇文章，我们来聊聊pandas的一些高级运算。 在上一篇文章当中，我们介绍了panads的一些计算方法，比如两个dataframe的四则运算，以及dataframe填充Null的方法。今天这篇文章我们来聊聊dataframe中的广播机制，以及apply函数的使用方法。 dataframe广播 广播机制我们其实并不陌生， 我们在之前介绍numpy的专题文章当中曾经介绍过广播。当我们对两个尺寸不一致的数组进行运
Python数据分析之数据聚合与分组运算（拆分、应用、合并）
LiangPi的博客
04-24 8835
在Pandas中，分组是指使用特定的条件将原数据划分为多个组，聚合在这里指的是，对每个分组中的数据执行某些操作，最后将计算的结果进行整合。 此笔记记录在python数据分析学习过程中的数据聚合与分组运算，其中所提方法做记录，方便今后查看。
【利用python进行数据分析】chapter9：数据聚合与分组运算
weixin_41179697的博客
02-16 228
1.groupby 分组函数，依据某个变量进行分组 df = DataFrame({'key1':['a','a','b','b','a'],'key2' : ['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)}) grouped = df['data1'].groupby(df['key1']) #按照key1对data1进行分组，grouped存储的是中间量，可以直接对grouped
数据聚合与分组运算
weixin_61518174的博客
05-16 1396
01 分组与聚合的原理 在Pandas中，分组是指使用特定的条件将原数据划分为多个组，聚合在这里指的是，对每个分组中的数据执行某些操作，最后将计算的结果进行整合。 分组与聚合的过程大概分为以下三步： 拆分→应用→合并 分组与聚合的原理： 在Pandas中，可以通过groupby()方法将数据集按照某些标准划分成若干个组。 groupby(by=None, axis=0, level=None, as_index=True, sort=True,group_keys=Tru.
python数据分析————数据聚合与分组运算
Hshuang123的博客
05-17 955
分组：使⽤特定的条件将原数据划分为多个组 聚合：对每个分组中的数据执⾏某些操作，最后将计算的结果进⾏整合 groupby⽅法参数 说明 by ⽤于确定进⾏分组的依据 axis 表⽰分组轴的⽅向 sort 前面的例子中使用了部分聚合运算方法，如mean、count、sum函数，如下表所示，为常用的聚合运算方法。 参数 使用说明 count 计数 sum 求和 median 求算数中位数 mean 求平均值 std、var 无偏标准差和...
Python数据分析分组聚合重采样典型例题及其解法
Mathematic_Van的博客
03-23 517
彬彬想要获取2015-2018中纽约（“NewYork”）与芝加哥（“Chicago”）每月牛油果平均价格，并计算全美国的每月牛油果平均价格，画出3条折线图进行比较。Date表示价格调查的日期，AveragePrice表示当天的平均价格，region表示调查的城市。
Python数据分析5-数据分组与聚合
qq_45112156的博客
09-22 3943
数据的分组统计是数据分析工作中的重要环节。本节将讲解GroupBy的原理和使用方法；聚合函数的使用；富足运算中transform和apply方法的使用 ；通过pandas创建数据透视表的方法；最后通过一个综合示例。巩固数据分析统计的使用。 5.1数据分组 5.1.1GroupBy简介 GroupBy技术用于数据分组运算，类似于Excel的分类汇总（对于不同分类进行运算），其运算的核心模式为split-apply-combine，如下图所示，首先，数据及按照key（分组键...
数据聚合与分组：实现高效的数据分析
AI天才研究院
01-21 2211
1.背景介绍 数据聚合与分组是数据分析中的核心概念，它们可以帮助我们更有效地处理和分析大量的数据。在本文中，我们将深入探讨这两个概念的定义、原理、算法以及实际应用场景。 1. 背景介绍 数据分析是现代科学和技术中不可或缺的一部分，它涉及到处理、分析和解释数据，以便于发现隐藏在数据中的信息和知识。数据聚合和分组是数据分析中的基本操作，它们可以帮助我们更有效地处理和分析大量的数据。 数据聚合是...
pandas库的apply函数
04-11
### Pandas `apply` 函数详解 #### 基本概念 Pandas 是 Python 数据分析领域的重要工具之一，其核心对象 DataFrame 提供了许多高效的数据操作方法。其中，`apply()` 函数是一个非常灵活的工具，可以用来对 DataFrame 或 Series 的行或列应用自定义函数。 --- #### 适用范围 `apply()` 可以应用于两种主要场景： 1. **针对 Series (单列)**：当需要对某一行或多行数据逐项处理时。 2. **针对 DataFrame (整表)**：当需要按照行或列维度批量处理数据时。 --- #### 参数说明 `apply(func, axis=0)` - `func`: 自定义函数或者内置函数，用于指定如何转换输入数据。 - `axis`: 控制作用方向，默认为 `0` 表示沿列（垂直），设置为 `1` 则表示沿行（水平）。 --- #### 示例代码 ##### 1. 针对 Series 使用 `apply` 对于单一列的应用，可以通过 `apply` 实现复杂逻辑运算。例如： ```python import pandas as pd # 创建一个简单的 DataFrame data = {'A': [1, 2, 3]} df = pd.DataFrame(data) # 对列 A 中的每个值进行平方操作 df['B'] = df['A'].apply(lambda x: x ** 2) print(df) ``` 运行结果如下： ``` A B 0 1 1 1 2 4 2 3 9 ``` 此例展示了如何利用匿名函数 (`lambda`) 来实现简单变换[^3]。 --- ##### 2. 针对 DataFrame 整体使用 `apply` 在更复杂的场景下，可能需要跨多个字段完成计算任务。下面的例子演示了如何基于每行数据求和并新增一列存储结果。 ```python import pandas as pd # 构造学生分数表格 data = { '数学': [90, 80, 85], '英语': [95, 70, 88], '科学': [85, 90, 80] } df = pd.DataFrame(data) def total_score(row): """ 计算总分 """ return row.sum() # 添加新列保存每位同学的成绩总计 df['总成绩'] = df.apply(total_score, axis=1) print(df) ``` 输出效果为： ``` 数学 英语 科学 总成绩 0 90 95 85 270 1 80 70 90 240 2 85 88 80 253 ``` 这里通过显式定义辅助函数来增强可读性和复用能力[^5]。 --- ##### 3. 调用内置函数作为参数传递给 `apply` 除了支持用户编写的新规外，还可以直接传入标准库里的现有功能。比如统计字符串长度的情况： ```python import pandas as pd # 初始化样例数据集 names_df = pd.DataFrame({ '姓名': ['张三', '李四', '王五'] }) # 获取名字对应的字节数量 names_df['名字符数'] = names_df['姓名'].apply(len) print(names_df) ``` 最终打印内容形如： ``` 姓名 名字符数 0 张三 2 1 李四 2 2 王五 2 ``` 上述过程体现了简洁高效的特性[^2]。 --- #### 注意事项 尽管 `apply` 功能强大，在性能上却未必总是最优解。特别是面对大规模数据集时，应优先考虑矢量化表达式代替迭代器模式下的逐一访问策略；另外需要注意的是，如果目标仅限于基础数值型数组，则 NumPy 往往能提供更快捷的方式替代之。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值