Spark钨丝计划:让火花(Spark)更接近灯丝(Rare Metal)详解(2)

本文探讨了Spark的钨丝计划(Tungsten)中的shuffle管理,介绍了如何启用Tungsten功能,并详细解析了Tungsten-sort base Shuffle writer的工作原理,包括内存管理策略、数据写入过程以及mergeSpills的文件合并。同时,文章还概述了Tungsten-sort base Shuffle Read的实现,强调其复用了Hash Shuffle Read并使用BlockStoreShuffleReader进行数据获取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文主要内容包括 : “钨丝计划”的shuffle的使用

一:使用Tungsten功能
1, 如果想让您的程序使用Tungsten的功能,可以配置:
Spark.Shuffle.Manager = tungsten-sort
2, DataFrame中自动开启了Tungsten功能。

这里写图片描述

二:Tungsten-sort base Shuffle writer内幕
1,写数据在内存足够大的情况下是写到Page里面,在Page里面有一条条的Record,如果内存不够的话,会spill到磁盘上,输入数据的时候是循环每个Task中处理的数据Partition的结果,循环的时候会查看是否有内存,一个Page写满之后,才会写下一个Page。

2,如何看内存是否足够呢?
a)系统默认情况下给 shuffleMapTask 最大准备了多少内存空间,默认情况下是ExecutorHeapMemory*0.8*0.2 (spark.shuffle.memoryFraction = 0.2 , spark.shuffle.safeFraction = 0.8)

b)另外一方面是和Task处理的Partition大小紧密相关
写入的过程图:
这里写图片描述

1,mergeSpills的功能是将很多小文件合并成一个大文件。然后加上index文件索引。
2,和Sort Based Shuffle 过程基本一样。
3, 写数据在内存足够大的情况下是写到Page里面,在Page中有一条条的Record,如果内存不够的话会Spill到磁盘中。此过程跟前面讲解Sort base Shuffle writer过程是一样的。
4,基于UnsafeShuffleWriter会有一个类负责

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值