17、数据分组聚合、过滤与转换的实用技巧

数据分组聚合、过滤与转换的实用技巧

在数据处理和分析中，分组聚合、过滤与转换是非常重要的操作。下面将详细介绍一些相关的实用技巧和方法。

1. 特定列加权平均计算

在处理数据时，我们可能需要计算特定列的加权平均值。以下是具体的操作步骤：
1. 过滤缺失值 ：首先，需要过滤掉 UGDS 、 SATMTMID 和 SATVRMID 列中存在缺失值的记录。可以使用 dropna 方法，并通过 subset 参数指定检查缺失值的列。
2. 定义加权平均函数 ：编写一个函数来计算 SATMTMID 列的加权平均值。加权平均与算术平均不同，每个值都要乘以相应的权重，然后求和并除以权重之和。这里的权重是本科生人数。
3. 应用函数 ：将定义好的函数传递给 apply 方法。该函数会接收每个分组的所有原始列组成的 DataFrame ，并返回一个标量值，即 SATMTMID 的加权平均值。

# 示例代码
# 过滤缺失值
data = data.dropna(subset=['UGDS', 'SATMTMID', 'SATVRMID'])

# 定义加权平均函数
def weighted_math_average(df):