spark-sql broadcast join的一个注意点

最新推荐文章于 2022-08-05 08:27:54 发布

yin19930412

最新推荐文章于 2022-08-05 08:27:54 发布

阅读量2.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 大数据文章标签： spark broadcast join

本文链接：https://blog.youkuaiyun.com/u012017344/article/details/84574525

spark 同时被 2 个专栏收录

3 篇文章

订阅专栏

大数据

3 篇文章

订阅专栏

本文详细解析了Spark SQL中广播连接的工作原理，包括如何通过判断小表大小来触发广播连接，以及statistics类在HiveRelation中的作用。同时指出，对于如JDBCRelation等非Hive数据源，由于无法获取到准确的统计信息，广播连接可能无法被正确触发。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 spark-sql的broadcast join需要先判断小表的size是否小于spark.sql.autoBroadcastJoinThreshold设定的值（byte）.

2 在spark中size的估算表示为statistics类，仅对hive relation 有效，因为其最初是从hive元数据库中读取所需的统计值的.因此对于jdbc relation等来说，无法触发broadcast join

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yin19930412

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark-SQL常用调优参数汇总

三米学习笔记杂货铺

05-18

3772

写在前面的话：因为本人在职，所以没有充分的时间写博客，所以经常是写好整个框架，再陆陆续续的补充修改。所以如果发现什么错误请留言。本文主要是日常工作的积累，主要是简单罗列了常见的spark SQL的参数及其含义。 #Job ID /Name spark.app.name=clsfd_ad_attr_map_w_mvca_ins #yarn 进行调度，也可以是mesos，yarn，以及standa...

spark-sql调优

weixin_40035337的博客

08-18

600

sparkSQL概述 sparkSQL的前世今生 Shark是专门针对于spark的构建大规模数据仓库系统的一个框架 Shark与Hive兼容、同时也依赖于Spark版本 Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。最后Databricks公司终止对Shark的开发决定单独开发一个框架，不在依赖hive，把重点转移到了sp

参与评论您还未登录，请先登录后发表或查看评论

Spark_使用broadcast避免Join出现笛卡尔乘积

weixin_43003792的博客

04-03

251

package com.atguigu.spark import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable object TestBroadCast { def main(args: Array[String]): Unit = { //1.使用开发工

Spark SQL中的broadcast join分析

wisgood的专栏

05-20

3169

转自：https://blog.csdn.net/dabokele/article/details/65963401 在Spark-1.6.2中，执行相同join查询语句，broadcast join模式下，DAG和执行时间如下图所示： 1、broadcast join （1）DAG 　　　　　　（2）执行时间122 rows selected (22.709 seconds)1　　 2、非...

Spark SQL有关broadcast join的不生效问题

吟啸徐行

05-20

5342

大数据计算通常会存在大表join小表的情况，如果相对较小的表允许广播到各个executor的话，可以使用广播方式mapjoin，这样还可以避免数据倾斜。平时看文档记着有个参数是： spark.sql.autoBroadcastJoinThreshold 10485760 (10 MB) Configures the maximum size in bytes for a tabl...

Spark SQL深入分析之图解五种Join策略的执行流程与应用场景

Gavin_ke的博客

08-05

1420

本文介绍Spark SQL所提供的五种Join策略和三种影响Join性能的因素，并且详细讲解了五种Join策略的连接原理以及在不同的影响因素下如何选择合适的Join策略，希望对大家有所帮助。

sparkSQL的三种join（broadcast join、shuffle hash join和sort merge join）以及AE

rong_king_的博客

04-07

8094

每天一个小例子： spark中， 1.left semi join （左半连接）的意思就是， JOIN 子句中右边的表只能在 ON 子句中设置过滤条件，右表中有重复的数据会自动跳过，具体详见：https://blog.csdn.net/happyrocking/article/details/79885071 2. left anti join 含义：left anti join 是 not in/not exists 子查询的一种更高效的实现，相当于not in或者not exists，left anti

spark-sql broadcast用法使用sql实例

最新发布

05-10

为了充分发挥 Broadcast Join 的优势，请注意以下几点： 1. **合理调整广播阈值**：根据实际业务需求修改 `spark.sql.autoBroadcastJoinThreshold` 参数，避免因过低或过高而导致性能下降[^5]。 2. **监控运行计划**...

spark-sql-2.3-source-code-interpretation:spark sql 2.3原始代码理解自己的阅读源码后的总结，欢迎大家阅读-spark source code

03-24

Spark SQL是Apache Spark项目中的一个核心组件，专门用于处理结构化数据。在Spark SQL 2.3版本中，它引入了许多重要的改进和优化，使得大数据处理变得更加高效和便捷。本文将基于源码解析，对Spark SQL 2.3的关键...

spark-sql调优技巧

weixin_40035337的博客

08-18

2067

sparkSQL概述 sparkSQL的前世今生 ==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架== Shark与Hive兼容、同时也依赖于Spark版本 Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。最后Databricks公司终止对Shark的开发决定单独开发一个框架，不在依赖hive，

SparkSQLBroadcast join实例

地球人是我哈的博客

04-01

4570

最近做sparksql的优化，需要用到sparksql broadcast join，之前在网上找了好多资料，发现介绍理论的偏多，实际操作案例较少，在此记录: Broadcast join：大表关联小表时使用. 比如：百亿级别的大表对千条数据量的小表进行关联查询时。众所周知，在spark中进行 ...

SparkSQL中的三种Join及其具体实现（broadcast join、shuffle hash join和sort merge join）

wlk_328909605的博客

10-03

1万+

1.小表对大表（broadcast join）将小表的数据分发到每个节点上，供大表使用。executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join Broadcast Join的条件有以下几个： *被广播的表需要小于 spark.sql.autoBroadcastJoinThreshold 所配置的值，默认是...

sparksql调优之第一弹

大数据星球-浪尖

01-18

1万+

1，jvm调优这个是扯不断，理还乱。建议能加内存就加内存，没事调啥JVM，你都不了解JVM和你的任务数据。spark调优系列之内存和GC调优2，内存调优缓存表spark2.+采用：spark.catalog.cacheTable("tableName")缓存表，spark.catalog.uncacheTable("tableName")解除缓存。spark 1.+采用：采用 sqlContext

Broadcast与map进行join，避免shuffle，从而优化spark

小狮子的技术分享

08-19

6895

适用场景进行join中至少有一个RDD的数据量比较少（比如几百M，或者1-2G) 因为，每个Executor的内存中，都会驻留一份广播变量的全量数据 Broadcast与map进行join代码示例创建RDDval list1 = List((jame,23), (wade,3), (kobe,24)) val list2 = List((jame,cave), (wade,bulls), (kob

sparksql广播设置

kehan_c的博客

06-24

4422

spark sql broadcast join 配置： –conf spark.sql.autoBroadcastJoinThreshold=31457280 \

spark学习进步之广播变量的用法(broadcast)

iilegend的博客

05-17

1896

原理：问题点 1、参数设置： spark.sql.adaptive.join.enabled AE 相关，开启后能够根据数据量自动判断能否将 sortMergeJoin 转换成 broadcast join true spark.sql.broadcastTimeout broadcast joins 时，广播数据最长等待时间，网络不稳定时，容易出现超时造成任务失败，可适当增大此参数 .

Spark_Spark_ERROR关于spark.sql.autoBroadcastJoinThreshold设置

迎难而上

06-10

4678

spark-sql显示的指明广播join

盛源的博客

04-19

2895

1 dataframe中指明广播join // 1 广播变量参数 conf.set( "spark.sql.autoBroadcastJoinThreshold", "104857600" ) //广播表的上限:单位为B,现设置最大广播100M的表; conf.set( "spark.sql.broadcastTimeout", "-1" ) //广播超时时间:...

SparkSQL – Join 的三种方式