DataFrame pyspark 只有groupByKey，容易在shuff中爆掉，改用RDD的reduceByKey、aggregateByKey相关算子 对类似实现sql的group by的相关算子进行区别分析 一：DataFrame.groupBy() 操作不会在partition中自己合并计算，会整个分组后进行shullf， 如下一个partition数据 groupBy()前： key value a 1 b 4 a 2 c 5 a 3 groupBy()后 key value a 1 a 2 a 3 key value b 4
这篇博客深入探讨了Spark中的分组操作，包括DataFrame的groupBy、reduceByKey、reduceByKeyLocally、combineByKey和aggregateByKey的区别。重点指出DataFrame的groupBy在大规模数据下可能导致内存问题，推荐使用RDD的reduceByKey相关算子。文章通过实例解释了每个操作的工作原理，如reduceByKey在本地合并计算以减少内存占用，而aggregateByKey和combineByKey提供了更灵活的自定义聚合功能。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
