巧用groupby解决Dataframe筛选分组效率慢问题

最新推荐文章于 2024-01-16 20:58:40 发布

原创

最新推荐文章于 2024-01-16 20:58:40 发布 · 5.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Dataframe筛选优化 #pandas #groupby

本文探讨了如何通过优化groupby操作，提高在处理大型pandas DataFrame时的筛选和分组性能，从而解决效率慢的问题。

原代码：

for name in list_valid_perfor_inventory:
    time_stamp = time.time()
    df_tmp1 = df_all_performance[df_all_performance['res_ins_id'] == name] ###170万行，该语句大约需要2S
    if df_tmp1.empty:
        continue
    del df_tmp1['res_ins_id']
    print('choose time ')
    print(str(time.time() - time_stamp))
    time_stamp = time.time()
    df_tmp1.to_csv(