17、数据分组聚合、过滤与转换的实用技巧

数据分组聚合、过滤与转换的实用技巧

在数据处理和分析中，分组聚合、过滤与转换是非常重要的操作。下面将详细介绍一些相关的实用技巧和操作方法。

1. 分组聚合计算

在进行分组聚合计算时，我们可能会遇到需要处理缺失值以及计算加权平均值等情况。
- 过滤缺失值 ：首先，我们需要过滤掉 UGDS 、 SATMTMID 和 SATVRMID 列中存在缺失值的机构。可以使用 dropna 方法，并通过 subset 参数指定要检查缺失值的列。
- 计算加权平均值 ：定义一个函数来计算 SATMTMID 列的加权平均值。加权平均值与算术平均值不同，每个值都要乘以相应的权重，然后求和并除以权重之和。这里的权重是本科生人数。

# 示例代码
# 过滤缺失值
# 假设数据存储在 df 中
df = df.dropna(subset=['UGDS', 'SATMTMID', 'SATVRMID'])

# 定义计算加权平均值的函数
def weighted_math_average(group):
    return (group['SATMTMID'] * group['UGDS']).sum() / group['UGDS'].sum()

# 应用函数进行分组计算
result = df.groupby('分组列').apply(weighted_math_aver