Spark数据倾斜解决方案四：Mapper端Join（包含完整案例代码）

已于 2023-07-11 09:22:52 修改
阅读量1.2k 收藏
点赞数 1
分类专栏： Spark最佳实战与性能优化 文章标签： spark 大数据 数据倾斜 mapjoin
于 2023-06-09 17:28:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/131128139
版权
本文探讨了如何通过在Mapper端执行Join来解决Spark中的数据倾斜问题，避免Shuffle操作。介绍了适用场景、实现原理及优缺点，并提供了完整的案例代码，包括注意事项，如小表广播可能导致内存溢出等问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

为什么要在Mapper端Join

解决数据倾斜有一个技巧：把Reducer端的操作变成Mapper端的Reduce，通过这种方式不需要发生Shuffle。如果把Reducer端的操作放在Mapper端，就避免了Shuffle。避免了Shuffle，在很大程度上就化解掉了数据倾斜的问题。Spark是RDD的链式操作，DAGScheduler根据RDD的不同类型的依赖关系划分成不同的Stage，所谓不同类型的依赖关系，就是宽依赖、窄依赖。当发生宽依赖的时候，把Stage划分成更小的Stage。划分的依据就是宽依赖。宽依赖的算子如reducByKey、groupByKey等。我们想做的是把宽依赖减掉，避免掉Shuffle，把操作直接发生在Mapper端。从Stage的角度讲，后面的Stage都是前面Stage的Reducer端，前面的Stage都是后面Stage的Mapper端。如果能去掉Reducer端的Shuffle操作，将其放在Mapper端，对我们解决数据倾斜很有价值。Spark 2.0版本中就有Mapper端聚合，只有Mapper端完成Shuffle的业务。

适用场景

在对RDD

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark数据倾斜解决方案五：对倾斜key采样后单独Join（包含完整案例代码）
SunnyRivers
06-10 1056
对倾斜的Keys采样进行单独的Join操作步骤有点复杂：首先对RDD1进行采样，例如RDD1进行Sample抽样（15%）可以计算出一个结果，其是一个RDD，采样之后进行Map操作，通过reduceBykey操作计数，然后对Key和Value进行置换，通过SortByKey进行排序，再进行Map置换操作，从而找出哪一个Key值倾斜比较严重，对其进行过滤，提取到RDD11中，剩下的提取到RDD12中。避免了占用过多内存。如果倾斜的Key特别多，如50多个倾斜的Key，我们可以一个一个地对Key进行过滤处理。
Spark数据倾斜解决方案六：随机前缀和扩容Join（包含完整案例代码）
SunnyRivers
06-10 1313
该想法的原因：Shuffle的时候把Key的数据可以分到不同的Task里。但是，现在的倾斜的Key非常多，成千上万，所以如果说采样找出倾斜的Key的话，并不是一个非常好的想法。需要考虑当前程序能够使用的Core的数目，扩容的问题是来解决从程序运行不了的问题，从无法运行到能运行的结果。该方案更多的是缓解数据倾斜，而不是彻底避免数据倾斜，而且需要对整个RDD进行扩容，对内存资源要求很高。同时对另外一个正常的RDD进行扩容，将每条数据都扩容成n条数据，扩容出来的每条数据都依次打上一个0~n的前缀。
MapReduce的Mapper端JOIN
weixin_30496431的博客
02-07 94
1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.IOException; 4 import java.text.SimpleDateFormat; 5 import java.util.Date; 6 import java.util.Vector; 7 8 import o...
Spark 数据倾斜
星空下的那个人影
06-04 1096
数据倾斜
Spark数据倾斜
weixin_44077750的博客
01-09 511
Spark数据倾斜数据倾斜产生的两个条件解决数据倾斜1. 使用Hive ETL预处理数据2. 过滤少数导致倾斜的key3. 提高shuffle操作的并行度4. 双重聚合 （解决Key分布不均的问题）5. 将reduce join转为map join6. 采样倾斜key并分拆join操作(双重join)7. 使用随机前缀和扩容RDD进行join(X 会导致数据膨胀) 数据倾斜产生的两个条件 1.key分布不均 2.产生了shuffle 解决数据倾斜 1. 使用Hive ETL预处理数据 将数据倾斜提前到H
使用MapperJoin的方法进行多表查询
Gooooot的博客
09-30 1298
使用MapperJoin的方法进行多表查询，以及一种特殊的输出空文件夹的原因解决办法
Spark数据倾斜解决方案三：随机key双重聚合（包含完整案例代码）
SunnyRivers
06-09 1349
随机Key双重聚合是指Spark分布式计算对RDD调用reduceByKey等聚合类Shuffle算子进行计算，使用对Key值随机数前缀的处理技巧，对Key值进行二次聚合。第一次聚合（局部聚合）：对每个Key值加上一个随机数，执行第一次reduceByKey聚合操作。第二次聚合（双重聚合）：去掉Key值的前缀随机数，执行第二次reduceByKey聚合，最终得到全局聚合的结果。
Spark数据倾斜解决方案二：提高Reducer端的并行度
SunnyRivers
06-09 1308
提高reducer端并行度操作起来并不难，这里把它当做一个单独的方案，原因是：现在的spark程序，我们一般刚开始主要考虑的业务，对于代码写的是否忽略的性能的问题很多时候可能并不是项目一开始要考虑的事情。只有当代码经过测试的时候，可能才发现由于数据倾斜造成某个task运行缓慢，此时，我们不会一上来就做一些比如给key加随机前缀和扩容处理，而往往第一步想到的就是提高Reducer端并行度。
让通用Mapper支持Join
aman801004的博客
05-30 1677
关于关系型数据库的Join 关于关系型数据库的Join一直是争论不休的。笔者应该是在十年前就不太赞成Join的方式，主要是使用两个思路： 1、 冗余字段，后台保证数据的一致性，前端只需要基于ORM的单表查询即可。 2、 使用多个基于主键的查询来替代Join查询，利用数据库和自定义两级缓存保证效率。 然而，在许多的业务中，恐怕正常情况也都不会轻易去修改ER模型，毕竟可能带来的伤害太大了，并且上述两种方式对于n：n的关系上是几乎无能为力的。 同样现在的公司业务也是充斥着大量的Join，前段时间向主程了解了下，大
Spark 解决数据倾斜问题
Nick
06-12 472
Spark 解决数据倾斜问题 一、前述 数据倾斜问题是大数据中的头号问题，所以解决数据清洗尤为重要，本文只针对几个常见的应用场景做些分析 。 二、具体方法 1. 使用 Hive ETL 预处理数据 方案适用场景： 如果导致数据倾斜的是 Hive 表。如果该 Hive 表中的数据本身很不均匀（比如某个 key 对应了 100 万数据，其他 key 才对应了 10 条数据），而且业务场景需要频繁使用 ...
spark学习4-倾斜数据join
Cumu Blog
10-13 4512
继续上一篇学习spark 本次将介绍join发生了数据倾斜之后的一种解决方法 数据倾斜出现的原因 并行计算中,我们总希望分配的每一个任务(task)都能以相似的粒度来切分,且完成时间相差不大。但是由于集群中的硬件和应用的类型不同、切分的数据大小不一,总会导致部分任务极大地拖慢了整个任务的完成时间，数据倾斜原因如下： 1) 业务数据本身的特性。 2) Key分布不均匀。 3) 建表时考虑
map端 join算法实现
embelfe_segge的博客
04-06 339
1、原理阐述 适用于关联表中有小表的情形； 可以将小表分发到所有的map节点，这样，map节点就可以在本地对自己所读到的大表数据进行join并输出最终结果，可以大大提高join操作的并发度，加快处理速度 2、实现示例 –先在mapper类中预先定义好小表，进行join –引入实际场景中的解决方案：一次加载数据库或者用 第一步：定义mapJoin public class Map extends Mapper<LongWritable, Text,Text,Text> { HashMap.
Hadoop经典案例(三)Join算法-Mapper端代码实现
weixin_43469563的博客
03-14 410
需求:利用Hadoop实现类似于Mysql的多表关联 该需求的构造思想: 通过添加本地的缓存路径,创建一个Map或者对象,在Mapper中的setup方法中的时候,把需要的额数据放进去,在map输出的时候,把原本的数据和额外的二数据加在一起输出,就可以了,不需要创建Reduce 重点: 1:Mapper或者Reduce类中的SetUp方法,是在二者方法运行之前做配置的 2:注意在主驱动类中,要加入...
Spark数据倾斜及解决方法
XuXuemin的专栏
12-05 1840
Spark算子使用过程中遇到的数据倾斜问题及其解决方法，该数据倾斜也适用于其他计算引擎中
Spark数据倾斜和调优
weixin_45629153的博客
08-18 756
spark数据倾斜和调优
Spark 中如何去处理数据倾斜
最新发布
zby384的博客
06-23 2130
在大数据环境中，使用分布式计算引擎(hive, spark, flink)在进行数据处理时, 在某个(stage)阶段中的某个task运行的数据量/时长的结果远超该stage内task的平均运行的数据量/时长的(N倍)时, 认定为数据倾斜, 其本质是数据分布不均衡, 常常伴随着内存溢出和报错。spark会自动将倾斜分区拆成多个分区进行join, 默认判断是某分区的数据量超过平均分区数据量5倍以上会被spark进行拆分。
如何处理Spark数据倾斜问题
wangleigiser的博客
02-26 2742
想要更全面了解Spark内核和应用实战，可以购买我的新书。 《图解Spark 大数据快速分析实战》(王磊)【摘要 书评 试读】- 京东图书 1 什么是数据倾斜 数据倾斜是指某些任务对应分区上的数据显著多于其他任务对应分区上的数据，从而导致这部分分区上数据的处理速度成为处理整个数据集的瓶颈。 在Spark中，同一Stage内不同的任务可以并行执行，而不同Stage之间的任务可以串行执行。如图所示，假设一个Spark作业分为Stage 0和Stage 1，且Stage 1依赖于Stage 0，那..
Spark三种常见JOIN方式
linken01的博客
02-25 1937
简述spark join的三种方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值