Spark性能优化第二季-Task、数据倾斜及网络性能优化

最新推荐文章于 2024-12-29 00:14:52 发布

原创最新推荐文章于 2024-12-29 00:14:52 发布 · 634 阅读

0 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了Spark性能优化的关键方法，包括减少慢任务处理的数据量、避免Shuffle操作、使用reduceByKey代替groupByKey等策略来提高效率。同时探讨了数据倾斜问题的解决办法，如合理定义key或自定义Partitioner。此外，还提供了网络层面的优化建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一：Task性能优化
1、慢任务的性能优化：可以考虑减少每个Partition处理的数据量，同时建议开启spark.speculation（在/conf目录下查找）
2、尽量减少Shuffle，例如，要尽量减少groupByKey的操作，因为groupByKey会要求通过网络copy所有的数据（这就是所谓的shuffle）。优先考虑使用reduceByKey。因为会首先reduce locally（可以减少数倍的数据量）；再次，在进行join操作的时候，形如（K1,V1）join（K1,V2）=>(K1,V3)，此时就可以进行pileline，但是（O1）join (O2) => (O3)，此时就会产生Shuffle操作，因为不能保证数据在同一个node上。
3、Repartition：增加Task数量的时候可以考虑使用，从而更加充分地使用计算资源；
Coalesce：整理Partition碎片；
二：数据倾斜优化方案
1、定义更加合理的Key（或者自定义Partitioner）；
2、可以考虑使用ByteBuffer来存储Block(ByteBuffer最大的存储数据为2G，如果超过这个大小会报异常)；
三：网络
1、可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性，减少网络的Shuffle；
2、优先采用Netty的方式进行网络通信；
3、广播：例如进行Join操作的时候采用Broadcast，可以达到完全的数据本地性情况下进行join操作；
4、mapPartitions中的函数会直接作用于整个Partition(一次)
5、最优先考虑是PROCESS_LOCAL（Spark黑夜情况下也是这样做的），所以更应该考虑使用Tachyon；
6、如果要访问HBase或者Canssandra，务必保证数据处理发送在数据所在的机器上；