数据预处理的时候可能会遇到有些分组空值或者稀疏值比较多的情况,这个时候可以删除这些分组以保持数据的平衡性。
我自个找了半天没找到直接删除分组的函数,搞了半天搞了下面这个方法,反正是笨方法了。
dataframe有两列,一列是分组依据,名称为id,另一列是cnt,需求是以id分组之后,删掉分组的cnt之和小于10的组。
首先拷贝一下dataframe:
df1=df
然后对df1处理,设置新的index:
df1=df1.set_index('id')
别忘了将所有的id放到list或者array里面,方便下面的循环操作:
id_list=pd.unique(df['id'])
最后循环操作即可:
for i in id_list:
if df.groupby('id').get_group(i).cnt.sum()<=10:
df1=df1.drop(i,axis=0)