Python groupby、grouper、resample函数使用进阶

背景：
DataFrame由2个类别列id、type,2个数字列value1、value2和一个日期时间索引time组成

一、groupby & groupby多次groupby
目标：多品种、多时间点的数值，按品种、类型排序，取最近30个周期对多个特征值求和

思路：
1、现对时间升序排序，最后即最新数值（倒序排序也可以，用head（））
2、按分组取出最新值
3、按分组对value1、value2求和

df = df.sort_values('time', ascending=True)  # 升序排列，tail即最新值
sum_df = df.groupby(['id', 'type']).tail(30).groupby(['id', 'type']).agg({
        'value1': 'sum',
        'value2': 'sum',
    })

二、groupby & Grouper
目标：按id、type、time分类，且time需要修改时间颗粒度，分类后重新聚合
思路：
1、对id、type使用groupby分组后，使用resample重新采样，发现time的部分时间会丢失

df.groupby(['id', 'type']).resample("D").sum()

2、分组还有TimeGrouper、Grouper函数
pd.TimeGrouper只能按DatetimeIndex进行分组,pd.Grouper可以按日期时间列进行分组，本例按日期分组，使用Grouper
class pandas.Grouper ( key = None，level = None，freq = None，axis = 0，sort = False )

# grouper只要求time列是时间
df['time'] = pd.to_datetime(df['time'])
df = df.groupby(['id', 'value1', pd.Grouper(freq='D', key='time')]).agg({
        'value1': 'sum',
        'value2': 'sum',
        })

三、groupby & resample 分组后重采样
按照列id分组，
按照列time按天重采样，求和

# resample要求time列为时间格式且为index
df = df .set_index(pd.to_datetime(df ['time']))
 df.set_index(pd.to_datetime(df['time'])).groupby('id').resample('D').agg({
        'value1': 'sum',
        'value2': 'sum',
        })

附录
1、groupby的参数as_index的True与False
https://stackoverflow.com/questions/41236370/what-is-as-index-in-groupby-in-pandas
默认值为as_index=True
作用：分组结果行头只有一行

import pandas as pd
 
df = pd.DataFrame(data={'data1':['1','2'], 'data2': [a,b]})
print(df)
print(df.groupby('books', as_index=True).sum())
print (df.groupby('books', as_index=False).sum())

data1 data2
0 1 a
1 2 b
data2
data1
0 1 a
1 2 b

data1 data2
0 1 a
1 2 b