spark-大表和小表join-未完待续

Spark SQL 大小表Join
最新推荐文章于 2023-09-12 09:56:16 发布
原创 最新推荐文章于 2023-09-12 09:56:16 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Spark SQL中处理大数据表与小数据表进行Join操作的优化技巧，包括如何选择合适的Join类型来提高查询效率，尤其是在大数据处理场景下。
Spark 之 Join
zhixingheyi_tian的博客
12-29 1130
Spark 之 Join
【Spark】Spark数据倾斜解决方案、大表join小表及大表join大表优化思路
DataCrafter的博客
12-13 2187
Spark数据倾斜主要是由于某些键的数据量不均导致部分节点处理过多数据，影响性能。本文介绍了四种数据倾斜的解决方案以及针对大表与小表的Join、大表与大表的Join的优化思路。
spark大小表join操作
weixin_45410534的博客
11-20 1941
spark大小表做join时为了避免数据倾斜并提高效率可以吧小表的rdd放到广播变量中，这样每个executor都会保存一份小文件的数据，避免shuffle 例子： def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("aa") val sc = new SparkContext(conf) //读小表 val rdd1 = sc.t
Spark Join大小表
记录点点滴滴
03-07 994
大小表 : 大小表尺寸相差 3 倍以上。
sparksql中大小表jion
lk2015的博客
03-01 2202
sparksql中大小表jion 总结一下遇到的sparksql大小表jion情况。 一、数据倾斜 使用sparksql对一张大表和小表jion时发现executor节点数据倾斜严重，最终执行超时失败了。查看日志发现对应的执行计划是Sort-Merge Join，查了下该方式适合两张大表join，会把两张表 shuffle：按照join key进行重新分区，两张表数据会分布到整个集群； sort：对分区中的两表数据，分别进行排序； merge：对排好序的两张分区表数据执行join操作。分别遍历两个有序序列
spark程序调试记录（未完待续）
永远飞翔的鸟
02-13 785
前序 最近闲来无事，记录一下之前学习和使用spark过程中的一些细节，一则用于记录，二则也为他人提供一些参考。
【畅通版】配置spark环境（含前期的虚拟机virtualbox、ubuntu系统、Hadoop布局、Java环境配置等）
SophiaSSS的博客
07-13 1001
暨上一篇环境配置过程曲折，加上突然意识到25G的ubuntu系统不够干大事，自己的500G固态硬盘分了350出去当主系统盘之后，还有115G剩余，刚好可以把虚拟机和ubuntu全丢过去，又不会占用到原Windows系统盘的空间。于是重新装虚拟机和ubuntu系统，再在这基础上布局Hadoop、Java、spark等。 附上一篇帖：【曲折版】配置spark环境（含前期的虚拟机virtualbox、u...
【Spark】Spark错误记录
Together
04-02 5487
提交Spark任务到Yarn上运行，得到如下报错信息???? 研究了一会儿发现是自己粗心大意导致的，自己在本地IDEA跑多了，打包的时候忘记删除setMaster了，如下???? 虽然我们在提交任务到Yarn的时候，指定了Master，奈何在代码的优先级高于命令行指定参数，所以就算我们指定了Master也没有效果 所以删除了setMaster这个属性就可以了 所以在这里记录一下这个错误，下次一定不能犯了！...
27.大数据学习之旅——SparkStreaming&spark mllib数据挖掘与机器学习
零零天
01-14 1473
SparkStreaming介绍 概述 Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数 据的能力，以吞吐量高和容错能力强著称。 SparkStreaming VS Storm 大体上两者非常接近，而且都处于快速迭代过程中，即便一时的对比可能某一方占优势。 在Spark老版本中，SparkStreaming的延迟级别达到秒级，而Stor...
SparkContext的初始化（仲篇）——SparkUI、环境变量及调度
热门推荐
beliefer的博客
02-23 2万+
任何系统都需要提供监控功能，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的构成如图3-1所示。
SparkSQL–有必要坐下来聊聊Join
02-25
本文来自于范欣欣，本文带大家真正走进Join的世界，了解常用的几种Join算法以及各自的适用场景。Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-where、排序操作-limit等），聚合操作-groupBy等以及Join操作等。其中Join操作是其中最复杂、代价最大的操作类型，也是OLAP场景中使用相对较多的操作。因此很有必要聊聊这个话题。另外，从业务层面来讲，用户在数仓建设的时候也会涉及Join使用的问题。通常情况下，数据仓库中的表一般会分为”低层次表”和“高层次表”。所谓”低层次表”，就是数据源导入数仓之后直接生成的表，单表列值较少，一般可以明显归
【Spark的五种Join策略解析】
岸芷汀兰
09-12 3274
Spark将参与Join的两张表抽象为流式遍历表(streamIter)和查找表(buildIter)，通常streamIter为大表，buildIter为小表，我们不用担心哪个表为streamIter，哪个表为buildIter，这个spark会根据join语句自动帮我们完成。对于每条来自streamIter的记录，都要去buildIter中查找匹配的记录，所以buildIter一定要是查找性能较优的数据结构。
sparkSql两表join关联的五种方式实现及原理
qq_41587243的博客
05-07 9299
对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景： Broadcast Hash Join ： 适合一张较小的表和一张大表进行join Shuffle Hash Join : 适合一张小表和一张大表进行join，或者是两张小表之间的join Sort Merge Join ： 适合两张较大的表之间进行join 前两者都基于的是Hash Join，只不过在hash join之前需要先shuffle还是先broadcast。下面将详细的解释一下这三种不同的join的具体原理。 Has
Spark中的Join操作及问题解决
程研板的博客
04-04 3726
目录一.数据准备二.Spark Core中的Join三.Spark SQL中的Join 一.数据准备 grade.txt:（id, grade） 1,75 1,86 1,64 2,76 address.txt:（id, address） 1,shanghai 1,beijing 二.Spark Core中的Join 需要把每行转换成键值对的形式。 val grade = sc.textFile("D:\\study\\ideaProject\\first_maven\\input\\grade.txt"
【Spark调优】小表join大表数据倾斜解决方案
weixin_30514745的博客
03-24 995
【使用场景】　　 　　对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（例如几百MB或者1~2GB），比较适用此方案。 【解决方案】 　　小表join大表转为小表broadcast+map大表实现。具体为： 　　普通的join是会shuffle的，而一旦shuffle，就相当于会将相同key的数据拉取到一个s...
Spark广播变量之超大表left join小表时如何进行优化以及小表的正确位置
是故事啊~关注我~
09-22 8357
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join hints 策略、Join 表的大小、 Join 是等值 Join（equi-join） 还是不等值（non-equi-joins）以及参与 Join 的 key 是否可以排序等条件来选择最终的 Join 策略（join strategies），最后 Spark 会利用选择好的 Join 策略执行最终的计算。 BHJ 又称
SparkSQLBroadcast join实例
地球人是我哈的博客
04-01 4647
最近做sparksql的优化，需要用到sparksql broadcast join，之前在网上找了好多资料，发现介绍理论的偏多，实际操作案例较少，在此记录: Broadcast join：大表关联小表时使用. 比如：百亿级别的大表对千条数据量的小表进行关联查询时。 众所周知，在spark中进行 ...
spark优化
Sun's Blog
03-12 912
Spark Sql DataFrame DataSet: 1.减少小文件 使用coalesce()算子,缩小分区 插入hive表 write.mode 选择插入模式，inserinto 兼容hive 根据字段顺序去匹配hive表。saveastable 不兼容hive 根据字段名字进行匹配 2.windows下local模式访问集群资源 core-site.xml, hdfs-site.xml ,hive-site.xml,yarn-site.xml放到resource源码包下 HA支持： val spar
spark 大表join小表优化
最新发布
08-21
在 Spark 中，优化大表与小表的 Join 操作是提升性能的重要手段。根据小表的大小和分布情况，可以采用不同的策略来优化 Join 操作。 ### 1. 使用广播 Join (Broadcast Hash Join, BHJ) 当小表的大小小于 `spark.sql.autoBroadcastJoinThreshold`（默认为 10MB）时，Spark 会自动选择广播 Join 策略。在这种情况下，小表会被广播到所有 Executor 的内存中，然后在每个 Executor 上与大表进行本地 Join 操作。这种方式避免了 Shuffle 操作，减少了网络传输开销，性能较高。 如果小表的大小超过了广播阈值，可以通过手动设置 `spark.sql.autoBroadcastJoinThreshold` 来增大广播阈值，或者在 SQL 查询中使用 Join Hint 强制 Spark 使用广播 Join： ```sql SELECT /*+ broadcast(ad_click) */ ad_click.idea_id, SUM(ad_view.view_dsp) AS view_tatal FROM ad_view INNER JOIN ad_click ON ad_view.idea_id = ad_click.idea_id GROUP BY ad_click.idea_id ORDER BY view_tatal DESC; ``` 需要注意的是，广播 Join 要求小表的数据必须足够小，否则会占用大量内存资源，甚至导致内存溢出。此外，广播 Join 只支持等值 Join，并且除了 Full Outer Join 外，支持所有 Join 类型 [^2]。 ### 2. 使用 Shuffle Hash Join (SHJ) 如果小表无法被广播，但仍然希望避免排序操作，可以考虑使用 Shuffle Hash Join。相比 Sort-Merge Join (SMJ)，Shuffle Hash Join 的优势在于只需要对小表构建哈希表，而不需要对两张表进行排序。因此，在某些情况下，SHJ 的执行效率会优于 SMJ。 可以通过在 SQL 查询中使用 Join Hint 来强制 Spark 使用 Shuffle Hash Join： ```sql SELECT /*+ shuffle_hash(ad_click) */ ad_click.idea_id, SUM(ad_view.view_dsp) AS view_tatal FROM ad_view INNER JOIN ad_click ON ad_view.idea_id = ad_click.idea_id GROUP BY ad_click.idea_id ORDER BY view_tatal DESC; ``` 这种方式适用于小表无法广播但仍然希望避免排序开销的场景 [^1]。 ### 3. 优化数据分布与分区策略 在进行大表与小表的 Join 操作时，数据的分区策略也会影响性能。如果大表和小表的分区方式不一致，可能会导致数据倾斜或不必要的 Shuffle 操作。因此，可以考虑对大表进行预分区，使其与小表的分区方式一致，从而减少 Shuffle 开销。 此外，还可以通过调整 `spark.sql.shuffle.partitions` 参数来控制 Shuffle 分区的数量。通常，适当减少 Shuffle 分区的数量可以减少任务的数量，从而减少调度开销；但分区数过少可能导致内存压力增大。因此，需要根据实际数据量和集群资源进行合理设置。 ### 4. 使用缓存或持久化 如果小表会被多次使用，可以考虑将其缓存到内存中，避免重复读取和广播操作。可以使用 `cache()` 或 `persist()` 方法将小表缓存到内存或磁盘中： ```python small_table.cache() ``` 这样可以减少每次执行 Join 操作时的 I/O 开销，提升整体性能 [^3]。 ### 5. 避免不必要的列参与 Join 在进行 Join 操作时，尽量只选择需要的列参与计算，避免将整个表的数据都加载到内存中。可以通过 `select` 操作提前过滤掉不需要的列，减少内存占用和网络传输开销。 ### 6. 处理数据倾斜问题 如果在 Join 过程中出现数据倾斜，可以采用两阶段 Shuffle 的方式来平衡 Executor 之间的计算负载。具体做法是将倾斜的 Key 拆分成多个子 Key，分散到不同的分区中进行处理，然后再进行聚合操作。这种方式可以有效缓解数据倾斜带来的性能瓶颈 。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值