Spark性能调优之shuffle调优

目录

HashShuffleManger

SortShuffleManager

tungsten-sort(钨丝)

 总结


HashShuffleManger

普通机制示意图

 

比如:有100个节点(每个节点有一个executor),每个executor有2个cpu core、10个task,那么每个节点会输出10*1000=1万个文件,在map端总共会输出100*10000=100万分文件

  • map task的计算结果会根据分区器(默认是hashPartitioner)来决定写入到哪一个磁盘小文件中去。ReduceTask会去Map端拉取相应的磁盘小文件。
  • 产生小文件的个数:M(map task的个数)*R(reduce task的个数)

产生的磁盘小文件过多,会导致以下问题:

  • 在Shuffle Write过程中会产生很多写磁盘小文件的对象。
  • 在Shuffle Read过程中会产生很多读取磁盘小文件的对象。
  • 在JVM堆内存中对象过多会造成频繁的gc,gc还无法解决运行所需要的内存 的话,就会OOM
  • 在数据传输过程中会有频繁的网络通信,频繁的网络通信出现通信故障的可能性大大增加
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值