Spark数据倾斜解决方案六：随机前缀和扩容Join（包含完整案例代码）

置顶 已于 2023-07-11 09:24:16 修改
阅读量1.3k 收藏
点赞数 1
分类专栏： Spark最佳实战与性能优化 文章标签： spark 数据倾斜 随机前缀 扩容 join
于 2023-06-10 13:12:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/131140846
版权
本文介绍了Spark数据倾斜的解决方案，通过在倾斜Key上添加随机前缀和对RDD进行扩容来缓解数据倾斜问题。文章详细阐述了扩容的概念、实现方式以及适用场景，并提供了案例代码和关键代码解释，指出扩容会增加内存、磁盘和网络资源的使用，但能显著提升性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

如何扩容

两个RDD数据都特别多且倾斜的Key有成千上万个，该如何解决数据倾斜的问题？初步的想法：在倾斜的Key上加上随机数。该想法的原因：Shuffle的时候把Key的数据可以分到不同的Task里。加随机数有一个前提：必须知道哪些是倾斜的Key。但是，现在的倾斜的Key非常多，成千上万，所以如果说采样找出倾斜的Key的话，并不是一个非常好的想法。
下一个想法是考虑进行扩容：首先，什么是扩容？扩容就是把该RDD中的每条数据变成5条、10条、20条等。例如，RDD中原来是10亿条数据，扩容后可能变成1000亿条数据。
其次，如何扩容？flatMap中对要进行扩容的每条数据都通过0～N−1个不同的前缀变成N条数据。
问题：N的值可以随便取吗？需要考虑当前程序能够使用的Core的数目。
答案：N的数字一般不能取得特别大，通常都会小于50，否则对磁盘、内存和网络都会形成极大的负担，如会造成OOM。
接下来：
（1）将另外

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark数据倾斜解决方案三：随机key双重聚合（包含完整案例代码）
SunnyRivers
06-09 1349
随机Key双重聚合是指Spark分布式计算对RDD调用reduceByKey等聚合类Shuffle算子进行计算，使用对Key值随机数前缀的处理技巧，对Key值进行二次聚合。第一次聚合（局部聚合）：对每个Key值加上一个随机数，执行第一次reduceByKey聚合操作。第二次聚合（双重聚合）：去掉Key值的前缀随机数，执行第二次reduceByKey聚合，最终得到全局聚合的结果。
Spark数据倾斜解决方案五：对倾斜key采样后单独Join（包含完整案例代码）
SunnyRivers
06-10 1056
对倾斜的Keys采样进行单独的Join操作步骤有点复杂：首先对RDD1进行采样，例如RDD1进行Sample抽样（15%）可以计算出一个结果，其是一个RDD，采样之后进行Map操作，通过reduceBykey操作计数，然后对Key和Value进行置换，通过SortByKey进行排序，再进行Map置换操作，从而找出哪一个Key值倾斜比较严重，对其进行过滤，提取到RDD11中，剩下的提取到RDD12中。避免了占用过多内存。如果倾斜的Key特别多，如50多个倾斜的Key，我们可以一个一个地对Key进行过滤处理。
spark通过随机加前缀解决数据倾斜问题
qq_50166024的博客
11-26 929
package day03 import org.apache.spark.sql.{DataFrame, SparkSession} //解决wordcount的数据倾斜问题 object _01DataSkewDemo01 { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local[2]").appName("test").getOrCr.
spark数据倾斜-随机前缀和扩容RDD进行join-java源码
java技术分享
05-20 870
spark数据倾斜-随机前缀和扩容RDD进行join-java源码
Spark性能调优系列：（八）数据倾斜（使用随机前缀和扩容RDD进行join）
Mr.Cao
11-29 1268
适用场景 如果在进行join操作时，RDD中有大量的Key导致数据倾斜，那么进行分拆key也没什么意义，此时就只能使用最后一种解决方案来处理了。 实现思路 该方案的实现思路基本和上一个相似，首先查看RDD/Hive表中的数据分布情况，找到那个造成数据倾斜的RDD/Hive表，比如有多个key都对应了超过1万条数据，然后将该RDD的每条数据都打上一个N以内的随机前缀， 同时对另外一个正常的...
Spark数据倾斜处理之添加前缀
qq_48750919的博客
10-27 374
数据倾斜处理之添加前缀 package spark.day03 import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SparkSession} object _07TestDataSkew { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .master("l
Spark数据倾斜解决方案四：Mapper端Join（包含完整案例代码）
SunnyRivers
06-09 1248
为什么要在Mapper端Join 解决数据倾斜有一个技巧：把Reducer端的操作变成Mapper端的Reduce，通过这种方式不需要发生Shuffle。如果把Reducer端的操作放在Mapper端，就避免了Shuffle。避免了Shuffle，在很大程度上就化解掉了数据倾斜的问题。Spark是RDD的链式操作，DAGScheduler根据RDD的不同类型的依赖关系划分成不同的Stage，所谓不同类型的依赖关系，就是宽依赖、窄依赖。当发生宽依赖的时候，把Stage划分成更小的Stage。划分的依据就是宽依
Spark数据倾斜解决方案二：提高Reducer端的并行度
SunnyRivers
06-09 1308
提高reducer端并行度操作起来并不难，这里把它当做一个单独的方案，原因是：现在的spark程序，我们一般刚开始主要考虑的业务，对于代码写的是否忽略的性能的问题很多时候可能并不是项目一开始要考虑的事情。只有当代码经过测试的时候，可能才发现由于数据倾斜造成某个task运行缓慢，此时，我们不会一上来就做一些比如给key加随机前缀和扩容处理，而往往第一步想到的就是提高Reducer端并行度。
【Flink】随机前缀解决数据倾斜
weixin_43589563的博客
03-13 540
Source如果是多并行度，其采用的是轮询； KeyBy数据倾斜： BroadCast或者Custom 广播适合join场景 自定义适合groupby场景 rebalance rebalance 将数据发往下游所有并行度 rescale 自定义分区器 //自定义分区器 泛型是key 返回值是分区号 source.partitionCustom(new Partitioner<String>() { @Override .
Spark优化----Spark 数据倾斜
天冬忘忧的博客
12-17 1337
Spark 中的数据倾斜问题主要指 shuffle 过程中出现的数据倾斜问题，是由于不同的 key对应的数据量不同导致的不同 task 所处理的数据量不同的问题。
Spark core 源码解读与扩展
12-10
深入浅出介绍了 spark core 的原理，同时也进行了扩展，是大数据从业者很好的参考资料
spark的数据扩展
盛源的博客
09-25 664
会导致数据扩展的操作;如何避免数据扩展;
深入分析数据倾斜出现的原因与优化
2301_77818583的博客
11-26 2546
目录 数据倾斜发生时的现象 数据倾斜发生的场景 shuffle倾斜 一、数据倾斜发生的原理 二、数据倾斜的解决方案 解决方案一：将reduce join转为map join 解决方案二：过滤少数导致倾斜的key 解决方案三：两阶段聚合（局部聚合+全局聚合） 解决方案四：使用随机前缀和扩容RDD进行join 输入倾斜 一、数据倾斜发生的原理 二、数据倾斜的解决方案 膨胀倾斜 一、数据倾斜发生的原理 二、数据倾斜的解决方案 数据倾斜发生时的现象 绝大多数task执行得都非常
Spark性能优化指南——高级篇
美团技术团队
05-12 8188
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题...
Spark基本配置的理解--从验证spark扩展性出发
yueshuangfei的专栏
02-07 1510
最近在做Spark扩展性的测试，使用了CJ-Lin的 http://www.csie.ntu.edu.tw/~cjlin/papers/spark-liblinear/spark-liblinear.pdf 这篇论文，我想重新实现上面的Spark-LIBLINEAR扩展性实验，但是在自己做的时候却发现随着机器数目的增加，我的方法完全没有扩展性，下面是我的spark-env.sh实验配置文件:
spark调优
硅谷纵横
05-09 3454
目录 1、资源调优 1.1、分配更多的资源 1.2、提高并行度 2、开发调优 2.1、RDD的重用和持久化 2.2、广播变量的使用 2.3、尽量避免使用shuffle类算子 2.4、 使用高性能的算子 2.5、使用Kryo优化序列化性能 2.6、使用fastutil优化数据格式 2.7、调节数据本地化等待时长 3、基于spark内存模型调优 3.1、spark中executor内存划分 3.2、 spark的内存模型 3.3、 任务提交脚本参考 4、shuffle相关参数..
Spark3性能调优（二）---数据倾斜
番茄薯仔
05-12 635
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（二）---数据倾斜，是本人的学习笔记系列文章其一。详细讲了“数据倾斜”方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
数据倾斜问题
w1732688672的博客
08-11 782
hive底层使用MR, 也有参数会自动将common join(reduce) 转为 map join 默认为false, 需手动开启, 默认大小是25M以内会cache;否则给倾斜key对用的数据加盐操作,打上n以内的随机数,将需要join的另一个RDD的每条数据膨胀成n条数据,打上0~n的前缀,如果拆分出倾斜key的两个RDD中有一个是小表,则采用map端join, 广播出去,剩下的两个非倾斜key的RDD做join,不会有数据倾斜,需要join的另一个RDD中的对应key也拆分出来,...
Spark性能优化之道——解决Spark数据倾斜
学海无涯
02-09 1712
本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，...
spark数据倾斜优化随机数
最新发布
01-16
### Spark 数据倾斜优化之随机数解决方案 #### 随机数扩容进行 Join 的原理 当面临数据倾斜问题时，一种有效的策略是在 shuffle 前通过向键附加随机前缀的方式增加记录数量。这使得原本集中在少数分区的数据被重新分配至更多分区中去处理[^3]。 #### 实现方式 具体实现上，在执行 join 操作之前，先给参与 join 的两个 RDD 或 DataFrame 添加额外字段作为辅助分桶依据。这些新增加的列由原始 key 和一定范围内的随机数值组合而成。这样做的目的是让相同 key 的条目不再局限于同一个 partition 内完成计算而是散布开来减少单个 task 负载过重的情况发生。 ```scala val numSalts = 10 // 可根据实际需求调整盐值的数量 import org.apache.spark.sql.functions._ // 对左表添加salt val dfWithSaltLeft = dfLeft.withColumn("salt", (rand() * numSalts).cast("int")) // 对右表也做同样操作 val dfWithSaltRight = dfRight.withColumn("salt", lit(0)) // 这里假设只对一边加salt,另一边保持不变也可以work // 执行join操作 val joinedDF = dfWithSaltLeft.join(dfWithSaltRight, Seq("id","salt"), "inner").drop("salt") ``` 上述代码片段展示了如何利用 Scala 编程语言在 Apache Spark 上实施基于随机数扩展的方法来应对数据倾斜挑战。 这种方法虽然增加了总体数据量但是有效降低了因个别 key 导致的任务失衡现象从而提高了整体作业效率。不过需要注意的是，此法适用于那些确实存在大量重复 key 并因此引发显著倾斜场景的应用案例；而对于本身已经较为均匀分布的数据集来说可能没有必要采用此类手段[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值