【Spark系列8】Spark Shuffle FetchFailedException报错解决方案

江南小白龙

于 2017-09-24 15:25:21 发布

阅读量2.2w

点赞数 1

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/zongzhiyuan/article/details/78077098

版权

本文探讨了Spark SQL中shuffle操作引发的FetchFailedException错误，提出了从减少shuffle数据、控制分区数、优化join操作、提升executor内存以及解决数据倾斜问题等方面进行优化的方案。在面对17亿条日志的大数据场景，存在字段数据过长、多次join及数据倾斜等问题时，通过提取字段、预先过滤、随机拆分原始表等方法有效解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前半部分来源：http://blog.youkuaiyun.com/lsshlsw/article/details/51213610

后半部分是我的优化方案供大家参考。

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

SparkSQL shuffle操作带来的报错

org.apache.spark.shuffle.MetadataFetchFailedException: 
Missing an output location for shuffle 0

org.apache.spark.shuffle.FetchFailedException:
Failed to connect to hostname/192.168.xx.xxx:50268

RDD的shuffle操作带来的报错

WARN TaskSetManager: Lost task 17.1 in stage 4.1 (TID 1386, spark050013): java.io.FileNotFoundException: /data04/spark/tmp/blockmgr-817d372f-c359-4a00-96dd-8f6554aa19cd/2f/temp_shuffle_e22e013a-5392-4edb-9874-a196a1dad97c

FetchFailed(BlockManagerId(6083b277-119a-49e8-8a49-3539690a2a3f-S155, spark050013, 8533), shuffleId=1, mapId=143, reduceId=3, message=
org.apache.spark.shuffle.FetchFailedException: Error in opening FileSegmentManagedBuffer{file=/data04/spark/tmp/blockmgr-817d372f-c359-4a00-96dd-8f655