spark-sql broadcast join的一个注意点

最新推荐文章于 2024-10-21 16:16:59 发布
原创 最新推荐文章于 2024-10-21 16:16:59 发布 · 2.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #broadcast #join

本文详细解析了Spark SQL中广播连接的工作原理，包括如何通过判断小表大小来触发广播连接，以及statistics类在HiveRelation中的作用。同时指出，对于如JDBCRelation等非Hive数据源，由于无法获取到准确的统计信息，广播连接可能无法被正确触发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 spark-sql的broadcast join需要先判断小表的size是否小于spark.sql.autoBroadcastJoinThreshold设定的值（byte）.

2 在spark中size的估算表示为statistics类，仅对hive relation 有效，因为其最初是从hive元数据库中读取所需的统计值的.因此对于jdbc relation等来说，无法触发broadcast join

Spark-SQL常用调优参数汇总
三米学习笔记杂货铺
05-18 3768
写在前面的话：因为本人在职，所以没有充分的时间写博客，所以经常是写好整个框架，再陆陆续续的补充修改。所以如果发现什么错误请留言。 本文主要是日常工作的积累，主要是简单罗列了常见的spark SQL的参数及其含义。 #Job ID /Name spark.app.name=clsfd_ad_attr_map_w_mvca_ins #yarn 进行调度，也可以是mesos，yarn，以及standa...
spark-sql调优
weixin_40035337的博客
08-18 598
sparkSQL概述 sparkSQL的前世今生 Shark是专门针对于spark的构建大规模数据仓库系统的一个框架 Shark与Hive兼容、同时也依赖于Spark版本 Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务 随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。 最后Databricks公司终止对Shark的开发 决定单独开发一个框架，不在依赖hive，把重点转移到了sp
Spark_使用broadcast避免Join出现笛卡尔乘积
weixin_43003792的博客
04-03 249
package com.atguigu.spark import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable object TestBroadCast { def main(args: Array[String]): Unit = { //1.使用开发工
Spark SQL中的broadcast join分析
wisgood的专栏
05-20 3165
转自：https://blog.csdn.net/dabokele/article/details/65963401 在Spark-1.6.2中，执行相同join查询语句，broadcast join模式下，DAG和执行时间如下图所示： 1、broadcast join （1）DAG 　　 　　 　　 （2）执行时间122 rows selected (22.709 seconds)1　　 2、非...
关于spark.sql.autoBroadcastJoinThreshold设置
热门推荐
goodstudy168的专栏
11-05 2万+
今天使用spark对一组大数据进行合并作join操作，一直都报下面的错： Exception in thread “broadcast-exchange-0” java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes 想来想去，之前也跑过这类的任务，并且都...
记一次Spark引擎执行Sql超时优化
星空的风fly
02-22 7321
前几天用spark引擎执行了一个较大的sql，涉及的表和数据量都不少，不同时间段执行了几次都超时，经过上网及分析，尝试解决了此问题，使用spark引擎测试几次大概都在半个小时左右完成，不再出现超时现象 一、问题现象 摘抄部分现场日志如下： 2022-02-01 13:02:12 INFO 22/02/01 13:02:12 [dag-scheduler-event-loop] INFO DAGScheduler: ShuffleMapStage 28 (run at ThreadPoolExecuto
spark sql 广播模式参数
laidongxu666的博客
10-21 2213
控制小表自动广播的阈值。：控制广播的超时时间。：影响分区数，从而影响 Join 操作的性能。：控制自适应执行时广播的阈值。根据你的数据规模和场景，合理调整这些参数可以帮助优化 Spark SQL 的性能。
spark-sql broadcast用法 使用sql实例
最新发布
05-10
为了充分发挥 Broadcast Join 的优势，请注意以下几点： 1. **合理调整广播阈值**：根据实际业务需求修改 `spark.sql.autoBroadcastJoinThreshold` 参数，避免因过低或过高而导致性能下降[^5]。 2. **监控运行计划**...
spark-sql-2.3-source-code-interpretation:spark sql 2.3原始代码理解自己的阅读源码后的总结，欢迎大家阅读-spark source code
03-24
Spark SQL是Apache Spark项目中的一个核心组件，专门用于处理结构化数据。在Spark SQL 2.3版本中，它引入了许多重要的改进和优化，使得大数据处理变得更加高效和便捷。本文将基于源码解析，对Spark SQL 2.3的关键...
spark-sql调优技巧
weixin_40035337的博客
08-18 2066
sparkSQL概述 sparkSQL的前世今生 ==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架== Shark与Hive兼容、同时也依赖于Spark版本 Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务 随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。 最后Databricks公司终止对Shark的开发 决定单独开发一个框架，不在依赖hive，
Spark参数调优经典实战
weixin_44769733的博客
10-23 2970
一:常用调优参数 #配置文件,使用这个名称application.conf就可以自动读取 #以下是spark的调优参数 #自动广播 spark.sql.autoBroadcastJoinThreshold="10485760" #spark sql shuffle并行度设置 spark.sql.shuffle.partitions="200" #自动广播超时时间 #spark.sql.broad...
sprk使用手册
盛源的博客
04-19 2805
1 spark-sql字符串截取操作 1.1 sql语句中使用 1 返回字符串A从start位置到结尾的字符串 select substring('abcde',3); cde select substring('abcde',-2); de 2 返回字符串A从start位置开始，长度为len的字符串 select substring('abcde',3,2); cd select subs...............
Hive、Spark SQL任务参数调优回顾
weixin_40809627的博客
03-02 2350
待todo
Spark SQL有关broadcast join的不生效问题
吟啸徐行
05-20 5329
大数据计算通常会存在大表join小表的情况，如果相对较小的表允许广播到各个executor的话，可以使用广播方式mapjoin，这样还可以避免数据倾斜。 平时看文档记着有个参数是： spark.sql.autoBroadcastJoinThreshold 10485760 (10 MB) Configures the maximum size in bytes for a tabl...
Hive的连接(join)方案
happy19870612's blog
11-21 1483
一 Common JOIN/Reduce Side JOIN/Shuffle JOIN 这三种其实都是一种连接方案：即在Reduce端做JOIN操作。一般情况下，如果不手动指定MapJoin或者不满足MapJoin的条件，一般Hive解析器会将Join操作转换成ReduceJoin. 他会经历完整的Map ->Shuffle->Reduce三个阶段 Map阶段： 读取表中数据，输出的时候以J
Spark 3.1.1遇到的 BroadcastQueryStageExec timeout
monkeyboy_tech的博客
04-27 550
主要的问题是在于AQE阶段的任务的提交是同时提交且异步的，如果存在broadcast和shuffle，且shuffle占用了大量的资源以后，导致broadcast的job。目前该问题的解决是通过合并3.2已有的PR解决，目前合并的PR有。没有资源导致broadcast超时，主要原因还是资源不够。
sparksql调优之第一弹
大数据星球-浪尖
01-18 1万+
1，jvm调优这个是扯不断，理还乱。建议能加内存就加内存，没事调啥JVM，你都不了解JVM和你的任务数据。spark调优系列之内存和GC调优2，内存调优缓存表spark2.+采用：spark.catalog.cacheTable("tableName")缓存表，spark.catalog.uncacheTable("tableName")解除缓存。spark 1.+采用：采用 sqlContext
hive spark sql 优化干货篇
weixin_43947279的博客
03-22 887
干货奉上~ 多多收藏多多转发 参数优化 ## 开启动态分区 set hive.exec.dynamic.partition.mode=nonstrict; ## 开启动态分区 set hive.exec.dynamic.partition=true; ## 分区数 set hive.exec.max.dynamic.partitions = 1000; ## 无关子查询 可以并行 set hive.exec.parallel = true ; ## 如果是小表，自动选择Mapjoin： set hi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值