python之pandas分组操作总结

pandas数据示例：

一、SAC过程

1、内涵

• SAC指的是分组操作中的split-apply-combine过程。
• 其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构。

2、apply过程
在该过程中，我们实际往往会遇到四类问题：

• 整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）
• 变换（Transformation）——即分组对每个单元的数据进行操作（如元素标准化）
• 过滤（Filtration）——即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）
• 综合问题——即前面提及的三种问题的混合

二、groupby函数

作用：groupby函数主要的作用是进行数据的分组以及分组后地组内运算！
用法示例：

df[](指输出数据的结果属性名称).groupby([df[属性],df[属性])(指分类的属性，数据的限定定语，可以有多个).mean()(对于数据的计算方式——函数名称)

2.1 分组函数基本内容

# 根据某列分组
grouped_single = df.groupby('School')
grouped_single.get_group('S_1').head()
`

# 组容量与组数计算
grouped_single.size()
grouped_single.ngroups

# 组的便利
for name,group in grouped_single:
    print(name)
    display(group.head())

# level参数（用于多级索引）和axis参数

df.set_index(['Gender','School']).groupby(level=1,axis=0).get_group('S_1').head()

2.2 grouby对象的特点

查看所有调用方法

print([attr for attr in dir(grouped_single) if not attr.startswith('_')])

分组对象的first显示的是以分组为索引的每组的第一个分组信息

grouped_single.first()

分组依据
对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组

df.groupby(np.random.choice(['a','b','c'],df.shape[0])).get_group('a').head()
#相当于将np.random.choice(['a','b','c'],df.shape[0])当做新的一列进行分组

# 根据酒行分组
df.groupby(lambda x:'奇数行' if not df.index.get_loc(x)%2==1 else '偶数行').groups

连续变量分组

bins = [0,40,60,80,90,100]
cuts = pd.cut(df['Math'],bins=bins) #可选label添加自定义标签
df.groupby(cuts)['Math'].count()

三、聚合、过滤和变换

3.1 聚合

所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数为了熟悉操作，不妨验证标准误sem函数，它的计算公式是：组内标准差组容量√组内标准差组容量，下面进行验证：

group_m = grouped_single['Math']
group_m.std().values/np.sqrt(group_m.count().values)== group_m.sem().values

group_m.agg(['sum','mean','std'])

grouped_mul.agg({'Math':['mean','max'],'Height':'var'})

使用自定义函数

grouped_single['Math'].agg(lambda x:print(x.head(),'间隔'))
#可以发现，agg函数的传入是分组逐列进行的，有了这个特性就可以做许多事情

3.2 过滤

filter函数是用来筛选某些组的（务必记住结果是组的全体），因此传入的值应当是布尔标量

grouped_single[['Math','Physics']].filter(lambda x:(x['Math']>32).all()).head()

3.3 变换

传入对象

grouped_single[['Math','Height']].transform(lambda x:x-x.min()).head()

利用变换方法进行组内标准化

grouped_single[['Math','Height']].transform(lambda x:(x-x.mean())/x.std()).head()

利用变换方法进行组内缺失值的均值填充

df_nan = df[['Math','School']].copy().reset_index()
df_nan.loc[np.random.randint(0,df.shape[0],25),['Math']]=np.nan
df_nan.head()

四、apply函数

apply在分组应用中广泛灵活

df.groupby('School').apply(lambda x:print(x.head(1)))

用apply同时统计多个指标

from collections import OrderedDict
def f(df):
    data = OrderedDict()
    data['M_sum'] = df['Math'].sum()
    data['W_var'] = df['Weight'].var()
    data['H_mean'] = df['Height'].mean()
    return pd.Series(data)
grouped_single.apply(f)