spark tungsten-sort shuffle

最新推荐文章于 2024-01-16 22:32:57 发布

原创

最新推荐文章于 2024-01-16 22:32:57 发布 · 561 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

Spark为解决内存和CPU瓶颈，引入Tungsten优化性能，特别是Tungsten-Sort Shuffle。该策略利用Java的Unsafe包，通过UnsafeShuffleWriter进行Map端写操作。SortShuffle与UnsafeShuffleWriter协同工作，使用内存复制将记录写入page，并通过数据结构记录partitionID和recordAddress，实现相同partition的记录连续排列，提高效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark tungsten-sort shuffle

基于内存和CPU的瓶颈，Spark引入tungsten来改善性能。其中在shuffle中，引入了tungsten-sort shuflle。
tungsten-sort shuffle是基于java的Unsafe包实现的，相关的三个ShuffleWriter如下：

writer	desc
ByPassMergeSortShuffleWriter	和hashShuffle实现基本相同，区别在与map task会输出汇总为一个文件。
SortShuffleWriter	Sort Shuffle，在Map端基于partititonId排序，将所有的输出结果写入到一个文件中
UnsafeShuffleWriter	Tungsten-sort,对序列化的指针进行排序，而不用进行序列化和反序列化的过程，减轻GC开销

SortShuffle在Spark Shuffle中介绍过，这里介绍下UnsafeShuffleWriter。
顾名思义，Writer的主要作用是进行Map端的写操作，看一下他的Writer方法。

public void write(scala.collection.Iterator<Product2<K, V>> records) throws IOException {
    // Keep track of success so we know if we encountered an exception
    // We do this rather than a standard try/catch/re-throw to handle
    // generic throwables.