spark broadcast side join实例

最新推荐文章于 2022-02-11 11:59:25 发布
最新推荐文章于 2022-02-11 11:59:25 发布
阅读量1.9k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： broadcast join map side join spark join优化 避免shuffle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZG_24/article/details/74330470
通过将小DataFrame转换为广播变量并在Map端完成连接操作，避免了Shuffle阶段带来的效率损失，显著提高了Spark大数据处理中Join操作的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    

        在用spark进行大数据处理时，join是少不了的操作。由于join会导致shuffle，所以当数据量较大时，会导致效率很低，甚至任务失败。


        为了有效解决shuffle阶段引起的效率过低问题，我们可以使用broadcast map side join来避免shuffle阶段导致的效率变低问题。


       使用map side join时，我们可以把一个较小的dataframe转换成map并“广播”,从而避免shuffle操作。


        直接看实例。

                      

def cc_in_flow(cc_info_bc:    //被广播的变量，后边Map要对应
               org.apache.spark.broadcast.Broadcast[scala.collection.Map[String,String]])={

  udf((ip_server: String) =>
    cc_info_bc.value.
      getOrElse(ip_server,""))
}

val ccDF_info=cnc_df.rdd.map(p=>(p.getString(0),p.getString(1))).collectAsMap()
val ccDF_info_bc=sc.broadcast(ccDF_info)


val joinDF_ALL = df_flow_m.where((cc_in_flow(ccDF_info_bc)(col("src_ip")) notEqual("")) or
  (cc_in_flow(ccDF_info_bc)(col("dst_ip")) notEqual("")))
以上代码用来代替cnc_df与df_flow_m的join操作，执行时间可以从1小时降到5分钟！！







                

        

    

    
  



    



                



	

		

			

				
					
Spark调优学习记录（七）语法优化之广播Join

				
			

			

				

					yuliangwan_jiangyan的博客
				

				

					04-14
					
					574
					
				

			

		

		

			
				
Spark join中，如果小表足够小，可以先缓存到内存，使用Broadcast Hash join。原理是将小表聚合到driver端，再广播到各大表分区，进行join时，大表的各个分区与小表进行本地join，规避shuffle。

			
		

	



                

            
              



	

		

			

				
					
Spark SQL中的broadcast join分析

				
			

			

				

					wisgood的专栏
				

				

					05-20
					
					3159
					
				

			

		

		

			
				
转自：https://blog.youkuaiyun.com/dabokele/article/details/65963401 在Spark-1.6.2中，执行相同join查询语句，broadcast join模式下，DAG和执行时间如下图所示： 1、broadcast join （1）DAG 　　 　　 　　 （2）执行时间122 rows selected (22.709 seconds)1　　 2、非...

			
		

	



              


  
              

                


	

		

			

				
					
[Spark][Python]Spark Join 小例子

				
			

			

				

					weixin_33739523的博客
				

				

					10-05
					
					213
					
				

			

		

		

			
				
[training@localhost ~]$ hdfs dfs -cat people.json
{"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name":"Carla",&quo

			
		

	





	

		

			

				
					
SparkSQL之broadcast join

					
热门推荐

				
			

			

				

					欲望以提升热忱 毅力以磨平高山
				

				

					06-12
					
					1万+
					
				

			

		

		

			
				

  当数据集的大小小于spark.sql.autoBroadcastJoinThreshold 所设置的阈值的时候， SPARK SQL 
  使用广播join来代替hash join 
  来优化join查询。广播join可以非常有效地用于具有相对较小的表和大型表之间的连接，然后可用于执行星型连接。 
  它可以避免通过网络发送大表的所有数据



你可以使用广播函数或者SQL广播提示来标记一...

			
		

	



		

			
		



	

		

			

				
					
复杂数据模型中的Map Side Join：高效实现策略揭秘

				
			

			

				

					
				

			

		

		

			
				
 Map Side Join概念解析  Map Side Join是分布式计算中的一种高效的数据连接方式。它通过在Map阶段完成连接操作，避免了传统MapReduce中昂贵的Shuffle过程，从而显著提高了处理速度和效率。本章将对Map Side Join...

			
		

	





	

		

			

				
					
Map Side Join进阶用法：动态分区与聚合操作的深度应用

				
			

			

				

					
				

			

		

		

			
				
[Map Side Join进阶用法：动态分区与聚合操作的深度应用](https://learn.microsoft.com/en-us/azure/databricks/_static/images/spark/aqe/skew-join-plan.png) # 1. Map Side Join原理分析  ## Map Side Join的定义...

			
		

	





	

		

			

				
					
Map Side Join的局限性：特定业务场景中的影响与解决方案

				
			

			

				

					
				

			

		

		

			
				
![Map Side Join的局限性：特定业务场景中的影响与解决方案]...本章将简单介绍Map Side Join的应用场景，以及为何它在某些条件下会比传统的Reduce Side Join更为高效。  ## Map Side Join的

			
		

	





	

		

			

				
					
Map Side Join工作原理与适用场景：大数据处理的高效策略

				
			

			

				

					
				

			

		

		

			
				
![Map Side Join](https://img-blog.csdnimg.cn/20200326212712936.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG...Map Side Join是分布式计算框架中一种优化的Join操作

			
		

	





	

		

			

				
					
大规模数据仓库高效查询：Map Side Join的架构优化全攻略

				
			

			

				

					
				

			

		

		

			
				
![大规模数据仓库高效查询：Map Side Join的架构优化全攻略](https://img-blog.csdnimg.cn/20201208235324100.png?x-oss-process=image/watermark,type...Map Side Join是大数据处理中的一个高效技术，它优化了传统Join

			
		

	





	

		

			

				
					
Spark之Join和聚合操作实例

				
			

			

				

					碣石观海的博客
				

				

					06-04
					
					1073
					
				

			

		

		

			
				
一、环境

Spark、Hadoop环境搭建可参看之前文章。


开发环境：
    系统：Win10
    开发工具：scala-eclipse-IDE
    项目管理工具：Maven 3.6.0
    JDK 1.8
    Scala 2.11.11
    Spark 2.4.3

Spark运行环境：
    系统：Linux CentOS7（两台机：主从节点）
        m...

			
		

	





	

		

			

				
					
[Spark] Spark SQL Join Types with examples

				
			

			

				

					mouliu6141的博客
				

				

					09-18
					
					322
					
				

			

		

		

			
				
Spark SQL supports all basic join operations  available in traditional SQL, though Spark Core Joins has huge  performance issues when not designed with care as it involves data shuffling across the network, in the other hand Spark SQL Joins comes with more

			
		

	





	

		

			

				
					
Spark Join操作 图文例子说明

				
			

			

				

					sixgold的博客
				

				

					04-18
					
					918
					
				

			

		

		

			
				
JOIN在Spark Core中的使用Inner joinleft outer joinright outer joinfull outer join
Inner join
inner join，只返回左右都匹配上的
// 启动spark-shell，定义两个rdd，做join操作
[hadoop@hadoop01 ~]$ spark-shell --master local[2]
scala&g...

			
		

	





	

		

			

				
					
SparkSQL中的三种Join及其具体实现（broadcast join、shuffle hash join和sort merge join）

				
			

			

				

					mojolang
				

				

					02-11
					
					2754
					
				

			

		

		

			
				
1.小表对大表（broadcast join）
将小表的数据分发到每个节点上，供大表使用。executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join

Broadcast Join的条件有以下几个：

*被广播的表需要小于 spark.sql.autoBroadcastJoinThreshold 所配置的值，默认是10M （或者加了broadcast join的hint）

*基表不能被广播，比如 left outer 

			
		

	





	

		

			

				
					
SparkSQLBroadcast join实例

				
			

			

				

					地球人是我哈的博客
				

				

					04-01
					
					4541
					
				

			

		

		

			
				
最近做sparksql的优化，需要用到sparksql broadcast join，之前在网上找了好多资料，发现介绍理论的偏多，实际操作案例较少，在此记录:
Broadcast join：大表关联小表时使用. 比如：百亿级别的大表对千条数据量的小表进行关联查询时。
众所周知，在spark中进行

...

			
		

	





	

		

			

				
					
Spark算子[16]：subtractByKey、join、rightOuterJoin、leftOuterJoin 实例详解

				
			

			

				

					行走的树
				

				

					12-16
					
					1270
					
				

			

		

		

			
				
subtractByKeydef subtractByKey[W](other: RDD[(K, W)])(implicit arg0: ClassTag[W]): RDD[(K, V)]def subtractByKey[W](other: RDD[(K, W)], numPartitions: Int)(implicit arg0: ClassTag[W]): RDD[(K, V)]def su

			
		

	





	

		

			

				
					
Spark实战案例二, 通过Spark实现IP地址查询,广播大变量broadcast 16

				
			

			

				

					啊策策大数据社区
				

				

					07-21
					
					519
					
				

			

		

		

			
				
1. 需求分析
在互联网中,我们经常会见到城市热点图这样的报表数据,例如在百度统计中, 会统计今年的热门旅游城市, 热门包括学校等.会将这样的信息显示在热点图中.

因此,我们需要通过日志信息(运营商或者网站自己生产)和城市ip段信息来判断用户的ip段,统计热点经纬度.
2. 技术调研
因为我们的需求是完成一张报表信息,所以对程序的实时性没有要求,所以可以选择内存计算spark来实现上述功能.
3...

			
		

	





	

		

			

				
					
Spark实用议题系列（02）--- DataFrame的各种join总结和实例

				
			

			

				

					timothyzh的专栏
				

				

					05-08
					
					7538
					
				

			

		

		

			
				
Table of Contents

1. 生成实例数据

2. Type 2函数类型的各种实例

2.1 Inner join的实例

2.2 Full, Left 和 Right outer join的实例

2.3 Left Semi和Left Anti join的实例

2.4 小结

3. Cross join的实例和Natural join的讨论

4. Type 1函数类型的特色用法...

			
		

	





	

		

			

				
					
Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快？那你就错了。

				
			

			

				

					过往记忆大数据
				

				

					07-05
					
					1725
					
				

			

		

		

			
				
本资料来自 Workday 的软件开发工程师 Jianneng Li 在 Spark Summit North America 2020 的 《On Improving Broadcas...

			
		

	





	

		

			

				
					
spark-sql broadcast用法 使用sql实例

					
最新发布

				
			

			

				

					05-10
				

			

		

		

			
				
### Spark SQL 中 Broadcast Join 的使用方法及 SQL 实例

#### 什么是 Broadcast Join？
Broadcast Join 是一种优化策略，在 Spark SQL 中用于处理小表和大表之间的连接操作。其核心思想是将较小的表广播到集群的所有节点上，使得每个节点都可以在本地完成数据的连接操作，而无需通过 shuffle 来移动大量数据[^4]。

当满足以下条件之一时，Spark 将会尝试应用 Broadcast Join：
1. 显式指定 `BROADCAST` 提示（hint），强制将某个表作为广播对象。
2. 自动广播机制生效，即如果某张表的大小小于 `spark.sql.autoBroadcastJoinThreshold` 配置值，则自动触发广播行为[^4]。

---

#### 如何启用 Broadcast Join？

可以通过设置参数来控制 Broadcast Join 的行为：

```sql
SET spark.sql.autoBroadcastJoinThreshold=10m;
```

默认情况下，`autoBroadcastJoinThreshold` 设置为 10 MB（单位可以是 KB/MB）。如果将其设为 `-1`，则禁用自动广播功能[^5]。

---

#### Broadcast Join 的语法与实例

以下是几种常见的 Broadcast Join 使用方式及其对应的 SQL 示例：

##### 方法一：显式指定 BROADCAST Hint
可以在查询中手动添加 `/*+ BROADCAST(table_name) */` 提示，告诉 Spark 对特定的小表进行广播。

**SQL 示例：**
```sql
SELECT /*+ BROADCAST(small_table) */
       big_table.*
FROM big_table
JOIN small_table
ON big_table.id = small_table.id;
```

此语句表示将 `small_table` 广播至所有执行节点，并与 `big_table` 进行本地连接[^1]。

---

##### 方法二：隐式依赖 autoBroadcastJoinThreshold 参数
如果不希望手动干预，也可以依靠 Spark 的自动判断机制。只需确保目标表的大小低于阈值即可。

**SQL 示例：**
```sql
-- 假设 small_table 大于 10M，但小于当前 threshold (e.g., 1G)
SET spark.sql.autoBroadcastJoinThreshold=1g;

SELECT *
FROM big_table
JOIN small_table
ON big_table.id = small_table.id;
```

在这种场景下，即使未提供任何提示，Spark 可能仍然会选择 Broadcast Join 方案[^3]。

---

##### 方法三：结合复杂查询场景
对于更复杂的查询结构，同样支持嵌套子查询或者多层 JOIN 场景下的广播优化。

**SQL 示例：**
```sql
SELECT /*+ BROADCAST(subquery_result) */
       main_table.*
FROM (
    SELECT id, value
    FROM intermediate_results
    WHERE condition = true
) AS subquery_result
JOIN main_table
ON main_table.id = subquery_result.id;
```

这里展示了如何对中间结果集（subquery）实施广播优化[^2]。

---

#### 性能调优建议

为了充分发挥 Broadcast Join 的优势，请注意以下几点：
1. **合理调整广播阈值**：根据实际业务需求修改 `spark.sql.autoBroadcastJoinThreshold` 参数，避免因过低或过高而导致性能下降[^5]。
2. **监控运行计划**：利用 `EXPLAIN` 查看物理执行计划，确认是否成功启用了 Broadcast Hash Join[^4]。
   ```sql
   EXPLAIN EXTENDED
   SELECT /*+ BROADCAST(small_table) */
          big_table.*
   FROM big_table
   JOIN small_table
   ON big_table.id = small_table.id;
   ```

3. **评估数据分布**：确保被广播的表确实足够小；否则可能引发内存溢出等问题[^5]。

---

###

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值