17、数据分组聚合、过滤与转换技巧全解析

数据分组聚合、过滤与转换技巧全解析

在数据分析领域，数据的分组、聚合、过滤与转换是非常重要的操作。下面我们将详细探讨几种实用的数据处理技巧，包括计算加权平均值、按连续变量分组、统计城市间航班总数以及找出航班准点最长连胜纪录等。

1. 计算加权平均值

在进行数据处理时，有时需要计算特定列的加权平均值。以 SAT 成绩相关数据为例，我们可以按以下步骤操作：
1. 过滤缺失值 ：首先过滤掉 UGDS、SATMTMID 和 SATVRMID 列中存在缺失值的机构数据。使用 dropna 方法，并通过 subset 参数指定要检查缺失值的列。
2. 定义加权平均函数 ：定义一个函数来计算 SATMTMID 列的加权平均值，这里以本科生人数作为权重。
3. 应用函数 ：将定义好的函数传递给 apply 方法，对每个分组进行计算。

代码示例如下：

# 过滤缺失值
# 假设数据存储在 df 中
df = df.dropna(subset=['UGDS', 'SATMTMID', 'SATVRMID'])

# 定义加权平均函数
def weighted_math_average(group):
    return (group['SATMTMID'] * group['UGDS']).sum() / group['UGDS'].sum()

# 应用函数
result = df.groupby(...)['SATMTMID'].apply(weighted_math_av