zhuge134的博客

Spark性能调优之Shuffle调优    • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。    • shuffle过程中常出现的问题 常见问题一：reduce oom?     问题原因：        reduce task 去map端获取数据，reduce一边

问题描述：spark使用dynamicAllocation模式，开启external shuffle service，并且yarn上也正常起了spark-shuffle service ，在shuffle过程中，executor总是报connection reset by peer异常，导致拉取shuffle数据失败，任务失败。 尝试了以下措施： 1. spark.shuffle.blockT...