【Spark源码】RDD shuffle溢写&归并排序

最新推荐文章于 2023-03-17 11:57:51 发布

原创

最新推荐文章于 2023-03-17 11:57:51 发布

· 523 阅读

0 ·

版权

文章标签：

#大数据 #spark #scala #源码

本文深入探讨了Spark中的RDD shuffle过程，详细解析了溢写和归并排序的关键代码，包括在sortshuffleManager.scala中的getWriter()、SortShuffleWriter的write()方法以及mergeSort等步骤，揭示了数据如何在溢写和排序过程中被处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RDD shuffle溢写

核心代码

if (shouldSpill) {
   
  _spillCount += 1
  logSpillage(currentMemory)

  //溢写，查看ExternalSorter.scala文件第239行
  spill(collection)
  _elementsRead = 0
  _memoryBytesSpilled += currentMemory
  releaseMemory() //溢写之后释放内存