pandas - DataFrame group分组（单列分组、多列分组、分组统计、迭代、聚合计算）

已于 2024-01-11 01:05:40 修改
阅读量2.3k 收藏 8
点赞数
分类专栏： python 文章标签： pandas python 数据分析
于 2023-07-06 22:47:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42115865/article/details/131586695
版权
该代码示例展示了如何使用Pandas的DataFrame进行数据分组统计，包括按单列或多列分组、聚合函数应用、迭代以及数据排序。具体操作包括求和、平均、最大值、最小值等统计方法，适用于数据分析和数据清洗场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pandas - DataFrame

1、 分组

def dataFormatGroup():
    """
    分组统计
    :return:
    """
    # 解决数据输出时列名不对齐的问题
    pd.set_option('display.unicode.ambiguous_as_wide', True)
    pd.set_option('display.unicode.east_asian_width', True)

    data = [
        ["组织结构-1", "组织结构-1-1", 11, 12],
        ["组织结构-1", "组织结构-1-2", 11, 12],
        ["组织结构-1", "组织结构-1-3", 11, 12],
        ["组织结构-1", "组织结构-1-3", 13, 14],
        ["组织结构-2", "组织结构-2-1", 21, 22],
        ["组织结构-2", "组织结构-2-1", 21, 22],
        ["组织结构-2", "组织结构-2-3", 21, 22],
        ["组织结构-3", "组织结构-3-1", 31, 32],
        ["组织结构-3", "组织结构-3-1", 31, 32],
        ["组织结构-3", "组织结构-3-3", 31, 32],
        ["组织结构-4", "组织结构-4-1", 41, 42],
        ["组织结构-4", "组织结构-4-1", 41, 42],
        ["组织结构-4", "组织结构-4-3", 41, 42]
    ]
    columns = ['一级单位', '二级单位', '男员工人数', '女员工人数']

    df = pd.DataFrame(data=data, columns=columns)

    # 按单列进行分组统计
    group_one_org = df.groupby('一级单位').sum()
    print(group_one_org)

    # 按多列进行分组统计
    group_two_org = df.groupby(['一级单位', '二级单位']).sum()
    print(group_two_org)

    # 按单列进行分组统计，并统计男员工人数
    group_one_org_by_man = df.groupby(['一级单位'])["男员工人数"].sum()
    print(group_one_org_by_man)

    # 迭代
    groups = df.groupby(['一级单位'])
    for name, group in groups:
        print(name)
        print(group)

    # 聚合函数 (平均、求和、最大、最小）
    agg_1 = df.groupby("一级单位").agg(['mean', 'sum', 'max', 'min'])
    print(agg_1)

    # 聚合函数 分列聚合计算
    agg_2 = df.groupby("一级单位").agg({'男员工人数': ['mean', 'sum'], '女员工人数': ['max', 'min']})
    print(agg_2)
	
	 # 求和分组并排序（ascending True 升序 False 降序）
	 group_and_num = df.assign(sum=df.sum(axis=1)).groupby(['一级单位', '二级单位']).sum().sort_values("sum", ascending=True)
	 print(group_and_num)

原始数据：

	      一级单位      二级单位    男员工人数   女员工人数
	0   组织结构-1  组织结构-1-1          11          12
	1   组织结构-1  组织结构-1-2          11          12
	2   组织结构-1  组织结构-1-3          11          12
	3   组织结构-1  组织结构-1-3          13          14
	4   组织结构-2  组织结构-2-1          21          22
	5   组织结构-2  组织结构-2-1          21          22
	6   组织结构-2  组织结构-2-3          21          22
	7   组织结构-3  组织结构-3-1          31          32
	8   组织结构-3  组织结构-3-1          31          32
	9   组织结构-3  组织结构-3-3          31          32
	10  组织结构-4  组织结构-4-1          41          42
	11  组织结构-4  组织结构-4-1          41          42
	12  组织结构-4  组织结构-4-3          41          42

group_one_org 按单列进行分组统计 返回结果：

           		 男员工人数   女员工人数
	一级单位                          
	组织结构-1          46          50
	组织结构-2          63          66
	组织结构-3          93          96
	组织结构-4         123         126

** group_two_org 按多列进行分组统计 返回结果：**

          			   			 男员工人数  	女员工人数
	  一级单位  		二级单位                            
	组织结构-1 	组织结构-1-1          11          12
	            组织结构-1-2          11          12
	            组织结构-1-3          24          26
	组织结构-2	组织结构-2-1          42          44
	            组织结构-2-3          21          22
	组织结构-3 	组织结构-3-1          62          64
	            组织结构-3-3          31          32
	组织结构-4 	组织结构-4-1          82          84
	            组织结构-4-3          41          42

group_one_org_by_man 按单列进行分组统计，并统计男员工人数 返回结果：

	一级单位
	组织结构-1     46
	组织结构-2     63
	组织结构-3     93
	组织结构-4    123
	Name: 男员工人数, dtype: int64

groups 迭代 返回结果：

组织结构-1
	     一级单位      二级单位  男员工人数  女员工人数
	0  组织结构-1  组织结构-1-1          11          12
	1  组织结构-1  组织结构-1-2          11          12
	2  组织结构-1  组织结构-1-3          11          12
	3  组织结构-1  组织结构-1-3          13          14
	
	组织结构-2
	     一级单位      二级单位  男员工人数  女员工人数
	4  组织结构-2  组织结构-2-1          21          22
	5  组织结构-2  组织结构-2-1          21          22
	6  组织结构-2  组织结构-2-3          21          22
	
	组织结构-3
	     一级单位      二级单位  男员工人数  女员工人数
	7  组织结构-3  组织结构-3-1          31          32
	8  组织结构-3  组织结构-3-1          31          32
	9  组织结构-3  组织结构-3-3          31          32
	
	组织结构-4
	      一级单位      二级单位  男员工人数  女员工人数
	10  组织结构-4  组织结构-4-1          41          42
	11  组织结构-4  组织结构-4-1          41          42
	12  组织结构-4  组织结构-4-3          41          42

agg_1 聚合函数 (平均、求和、最大、最小） 返回结果：

						 男员工人数              女员工人数             
	                 mean  sum max min       mean  sum max min
	一级单位                                                  
	组织结构-1       11.5   46  13  11       12.5   50  14  12
	组织结构-2       21.0   63  21  21       22.0   66  22  22
	组织结构-3       31.0   93  31  31       32.0   96  32  32
	组织结构-4       41.0  123  41  41       42.0  126  42  42

agg_2 聚合函数 分列聚合计算 返回结果：

	                男员工人数      女员工人数    
	                 mean  sum        max min
	一级单位                                 
	组织结构-1       11.5   46         14  12
	组织结构-2       21.0   63         22  22
	组织结构-3       31.0   93         32  32
	组织结构-4       41.0  123         42  42

求和分组并排序（ascending True 升序 False 降序） 返回结果：


	        						男员工人数  女员工人数  sum
	一级单位      二级单位                                  
	组织结构-1    组织结构-1-1          11          12       23
	             组织结构-1-2          11          12       23
	组织结构-2    组织结构-2-3          21          22       43
	组织结构-1    组织结构-1-3          24          26       50
	组织结构-3    组织结构-3-3          31          32       63
	组织结构-4    组织结构-4-3          41          42       83
	组织结构-2    组织结构-2-1          42          44       86
	组织结构-3    组织结构-3-1          62          64      126
	组织结构-4    组织结构-4-1          82          84      166
R语言dataframe分组数据汇总统计（aggregate and sum）：类似于excel的sumif函数
statistics+insight+vista+power
01-09 404
R语言dataframe分组数据汇总统计（aggregate and sum）：类似于excel的sumif函数
零基础上手Python数据分析 (14)：DataFrame 数据分组与聚合 - 玩转数据透视，从明细到洞察
最新发布
kakaZhui的博客
04-13 669
— 像搭积木一样分析数据，掌握Pandas GroupBy，轻松实现分组统计与聚合回顾一下，上篇博客我们学习了如何使用 Pandas 合并与连接多个 DataFrame，将分散的数据整合到一起。现在，我们拥有了更完整、更丰富的数据视图。接下来，一个非常常见的分析需求就是对数据进行分组，并对每个分组进行统计计算或聚合分析，从而从更细致的维度挖掘数据价值。数据分组与聚合：从明细数据中提炼洞察想象一下，你手中有一份详细的销售订单数据，包含了每笔订单的日期、地区、商品类别、销售额等信息。
python数据分析之Dataframe分组（group by）
热门推荐
柳小葱的博客
03-24 6万+
Dataframe分组统计group by函数 对数据进行分组统计主要使用Dataframe函数，其功能如下： 根据给定的条件将数据拆分成组。 每个组都可单独应用函数（如sum、mean、std等）。 将结果合并到一个数据结果中。 语法如下： Dataframe.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False) """ by:字典，映射，serie
pandas dataframe 分组统计次数
jp_666的博客
10-13 991
要在 Pandas DataFrame 中进行分组统计次数，可以使用。方法结合聚合函数，如。
DataFrame的遍历、排序、去重与分组
Clocky7
04-07 1683
abcdef。
python DataFrame数据分组统计groupby()函数，值得推荐
m0_67621628的博客
03-18 1万+
4. 通过 字典 和 Series 对象进行分组统计 4.1通过一个字典 4.2通过一个Series 1. groupby基本用法 ===================================================================================== 1.1 一级分类_分组求和 import pandas as pd data = [[‘a’, ‘A’, 109], [‘b’, ‘B’, 112], [‘c’, ‘A’, 125], ..
Pandas.DataFrame.groupby() 数据分组(数据透视、分类汇总) 详解 含代码 含测试数据集 随Pandas版本持续更新
数象限
01-16 7676
本文基于 pandas2.2.0 编写。随着pandas的stable版本更迭，本文持续更新，不断完善补充。
python pandas DataFrame分组
廷益_飞鸟的博客
08-04 2612
python pandas DataFrame分组 """ DataFrame 数据分组 即 将数据按照 某列名 分成多个 数据 """ import pandas as pd import numpy as np # 准备数据 ipl_data = {'Team': ['Riders', 'Riders', 'Devils', 'Devils', 'Kings', 'kings', 'Kings', 'Kings', 'Riders', 'Roy
4.9 Pandas中的Dataframe 数据分组（Python）
蚊者逆袭的博客
02-10 4861
根据统计研究的需要，将原始数据按照某种标准划分成不同的组别，分组后的的数据称为分组数据。
python pandas dataframe group
zhlkh的博客
02-14 733
pandas datafrmae groupby agg as_index sum count
Python3pandas库DataFrame的分组,拼接,统计运算等用法(基础整理)
公众号：瑞行AI
10-21 3万+
import pandas as pd import numpy as np salaries=pd.DataFrame({ 'name':['BOSS','Lilei','Lilei','Han','BOSS','BOSS','Han','BOSS'], 'Year':[2016,2016,2016,2016,2017,2017,2017,2017], 'Salary':[
pandas分组聚合
12-21
我们可以使用`groupby()`函数根据一列或多列的值对数据进行分组，然后对分组后的数据应用聚合函数。例如，要计算每个爱好的平均价格，可以这样操作： ```python group = frame['price'].groupby(frame['hobby']) ...
Pandas中DataFrame的分组/分割/合并的实现
09-19
主要介绍了Pandas中DataFrame的分组/分割/合并的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pandas dataframe对象的分组机制groupby
12-20
groupby的操作可以被分为3部分： 第一步，存储于series或DataFrame中的数据，根据不同的keys会被split（分割）为多个组。（这个分组可以按照不同的轴进行划分，axis=0按照行；axis=1按照列） 第二步，我们可以把函数例如mean等，apply在每一个组上，产生一个新的值。 第三步，函数产生的结果被combine(结合)为一个结果对象（result object）。 使用例子来看一下，创建一个dataframe对象： df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],
Python中的groupby分组功能的实例代码
12-23
在Python的数据分析领域，Pandas库提供了强大的数据处理能力，其中`groupby`函数是一个非常重要的功能，用于根据数据帧（DataFrame）中的一个或多个列的值进行分组。这个功能使得我们能够对数据进行聚合操作，比如...
Pandas分组函数groupby、聚合函数agg和转换函数transform
小龙在线
10-28 947
by: 指定根据哪个/哪些字段分组，默认值是None，按多个字段分组时传入列表。by参数可以按位置参数的方式传入。axis: 设置按列分组还是按行分组，0或index表示按列分组，1或columns表示按行分组，默认值为0。level: 当DataFrame的索引为多重索引时，level参数指定用于分组的索引，可以传入多重索引中索引的下标（0,1…）或索引名，多个用列表传入。
python统计表单列相同项之和_pandas聚合和分组运算之groupby
weixin_39712611的博客
12-14 1194
pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其...
python的dataframe数据分组
Yan456jie的专栏
08-02 4525
def test4(): df = pd.DataFrame({'key1': ['a', 'a', 'b', 'b', 'a'], 'key2':['one', 'two', 'one', 'two', 'one'], 'data1':np.random.randn(5),
python dataframe分组统计
06-28
### 回答1： Python中的DataFrame分组统计是指将数据按照某个列或多个列进行分组，然后对每个分组进行统计分析，例如计算平均值、求和、计数等。 使用pandas库中的groupby函数可以实现DataFrame的分组统计。首先需要指定分组的列，然后使用聚合函数对每个分组进行统计。 例如，对以下数据按照性别进行分组统计： ``` import pandas as pd data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七', '周八'], '性别': ['男', '男', '女', '女', '男', '女'], '年龄': [20, 25, 30, 35, 40, 45], '工资': [500, 600, 700, 800, 900, 10000]} df = pd.DataFrame(data) grouped = df.groupby('性别') print(grouped.mean()) # 计算每个分组的平均值 print(grouped.sum()) # 计算每个分组的总和 print(grouped.count()) # 计算每个分组的数量 ``` 输出结果如下： ``` 年龄 工资 性别 女 37.5 800 男 28.333333 6666.666667 年龄 工资 性别 女 75 16000 男 85 20000 姓名 年龄 工资 性别 女 3 4 4 男 3 3 3 ``` 可以看到，按照性别分组后，可以计算每个分组的平均值、总和和数量。 ### 回答2： Python中的pandas是一个开源的数据分析库，其中包含了一个非常强大的数据结构——DataFrame。DataFrame数据结构可以看作是一张二维表格，每一列数据可以是不同类型的数据（例如：数值、字符串、布尔值等）。在对数据进行分组统计操作时，DataFrame提供了非常方便的操作方法。 在分组统计过程中，首先需要对数据进行分组，这个过程可以使用DataFrame中的groupby方法来实现。groupby方法可以对DataFrame中一列或多列数据进行分组，返回一个分组对象。可以通过对分组对象进行统计操作来获取原始数据经过分组后的统计结果。 例如，我们有一张销售数据表，其中包含了销售日期、销售量和价格等信息。我们需要对销售日期进行分组，统计每一天的销售量和销售额。代码如下： ``` import pandas as pd # 创建数据表 data = { 'date': ['2022-01-01','2022-01-01','2022-01-02','2022-01-02','2022-01-03','2022-01-03'], 'sales': [100,200,150,250,300,400], 'price': [2.5,2.3,2.1,2.4,2.6,2.8] } df = pd.DataFrame(data) # 对销售日期进行分组 grouped = df.groupby('date') # 统计每一天的销售量和销售额 result = grouped.agg({'sales': 'sum', 'price': 'sum'}) print(result) ``` 运行代码后，输出结果如下： ``` sales price date 2022-01-01 300 4.8 2022-01-02 400 4.5 2022-01-03 700 5.4 ``` 结果显示，每一天的销售量和销售额被分别统计了出来。其中，agg方法中传入了一个字典，用于指定对哪些列进行统计操作，以及统计的方式（例如求和、平均数等）。 除了简单的分组统计之外，DataFrame还提供了更多的高级统计操作，例如：transform方法可以进行分组后的数据转换操作，apply方法可以对每一行数据进行自定义的统计操作等。 总之，通过pandas库提供的DataFrame数据结构和方法，我们可以非常方便地对数据进行分组统计和转换操作，并得到所需的统计结果。 ### 回答3： Python中的pandas库是一种高效的数据处理工具，其中的dataframe对象可以被用来存储和组织大量的数据集。在处理数据时，我们有时需要对数据进行分组统计，以获取更加详细的信息。 使用dataframe进行分组统计可以非常方便快捷地获取我们所需要的数据。下面我将详细介绍如何使用python dataframe进行分组统计。 1. Pandas中的GroupBy pandas中的GroupBy功能非常强大，可以轻松地对数据进行分组统计。我们可以使用groupby函数来创建一个分组对象，然后使用分组对象的agg或apply函数来执行各种分组操作。 下面以一个员工工资数据集为例，假设我们需要根据员工的职位（position）来统计各个职位的平均薪资： import pandas as pd # 导入csv数据集 data = pd.read_csv('employee.csv') # 使用groupby函数进行分组统计 grouped = data.groupby('position') # 使用agg函数进行聚合运算 result = grouped['salary'].agg('mean') print(result) 输出结果为： position CEO 50000.0 HR Manager 27000.0 Sales 22000.0 Name: salary, dtype: float64 以上代码中，首先我们导入了csv文件，并使用groupby函数将数据按职位进行分组。然后使用agg函数来计算每个职位的平均薪资。最后，我们打印出了结果。 2. 分组对象的属性和方法 groupby函数返回的是一个分组对象，我们可以通过调用该对象的属性或方法来处理数据。下面介绍一些常用的属性和方法： （1）groups：返回以分组字段为key，以分组后的dataframe的索引为values的字典。 （2）size：返回分组后的记录数。 （3）get_group：返回指定的组的dataframe。 （4）agg：聚合操作。 （5）apply：自定义聚合操作。 下面以一个员工工资数据集为例，假设我们需要根据员工的职位（position）来统计各个职位的平均薪资，并且统计每个职位中的男性和女性的数量： import pandas as pd # 导入csv数据集 data = pd.read_csv('employee.csv') # 使用groupby函数进行分组统计 grouped = data.groupby('position') # 使用agg函数进行聚合运算 result = grouped.agg({'salary':'mean', 'sex':'size'}) print(result) 以上代码中，我们使用agg函数同时统计了salary的平均值和sex的数量。agg函数接收一个字典作为参数，key表示要聚合的字段，value表示聚合的方式。最后我们打印了结果。 3. 自定义分组函数 在实际数据分析中，我们可能需要根据自定义规则进行分组。此时，我们可以自定义一个分组函数，然后将该函数作为参数传递给groupby函数。 下面以一个购物车数据集为例，假设我们希望根据商品价格进行分组，将价格在100元以下的商品归为一组，100-500元的商品归为第二组，500元以上的商品归为第三组： import pandas as pd # 导入csv数据集 data = pd.read_csv('shopping_cart.csv') # 定义分组函数 def group_func(price): if price < 100: return '0-99' elif price < 500: return '100-499' else: return '500+' # 使用apply函数进行自定义分组 result = data.groupby(data['price'].apply(group_func))['quantity'].sum() print(result) 以上代码中，我们定义了一个自定义分组函数group_func，该函数将价格进行分组。然后使用apply函数将数据分组，并使用sum函数聚合quantity字段。最后我们打印了结果。 总的来说，Python中的pandas库是一种高效的数据处理工具，其中的dataframe对象可以被用来存储和组织大量的数据集。使用dataframe进行分组统计可以非常方便快捷地获取我们所需要的数据。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值