17、数据分组聚合、过滤与转换的实用技巧

数据分组聚合、过滤与转换的实用技巧

在数据处理和分析中，分组聚合、过滤与转换是非常重要的操作。本文将详细介绍一些实用的技巧和方法，包括如何计算加权平均值、对连续变量进行分组、统计城市间航班总数以及找出航空公司准点航班的最长连续 streak 等。

1. 计算加权平均值

在处理数据时，有时需要计算加权平均值。以下是具体的操作步骤：
1. 过滤缺失值 ：首先，需要过滤掉 UGDS、SATMTMID 和 SATVRMID 列中存在缺失值的机构。可以使用 dropna 方法，并通过 subset 参数指定要检查的列。
2. 定义加权平均函数 ：定义一个函数来计算 SATMTMID 列的加权平均值。加权平均值与算术平均值不同，每个值都乘以一个权重，然后将这些乘积相加并除以权重之和。在这个例子中，权重是本科生人数。
3. 应用函数 ：将定义的函数传递给 apply 方法，该函数将接收每个组的所有原始列的 DataFrame，并返回一个标量值，即 SATMTMID 的加权平均值。

# 示例代码
import pandas as pd
import numpy as np

# 假设 college2 是已经加载的 DataFrame
# 过滤缺失值
college2 = college2.dropna(subset=['UGDS', 'SATMTMID', 'SATVRMID'])

# 定义加权平均函