Spark学习:不同的关联形式和关联机制该怎么选?

我爱夜来香A

已于 2022-02-12 15:59:46 修改

阅读量1.1k

点赞数

分类专栏： Spark 文章标签： spark big data 大数据

于 2022-02-10 20:26:25 首次发布

本文链接：https://blog.youkuaiyun.com/nzbing/article/details/122867972

版权

Spark 专栏收录该内容

26 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Spark SQL中的不同关联形式，包括内联、外关联、左半关联和左逆关联，并详细讲解了NLJ（嵌套循环连接）、SMJ（排序合并连接）和HJ（哈希连接）三种实现机制，分析了它们的优劣和适用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark Sql中join的种类丰富,这里把它划分为关联形式和时间机制
一、数据准备
eg:

import spark.implicits._
import org.apache.spark.sql.DataFrame
//创建员工表
val seq = Seq((1,"li",

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我爱夜来香A

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

20流计算中的数据关联：流与流，流与批

someInNeed的博客

01-28

1061

上一讲，我们提到，Structured Streaming 会复用 Spark SQL 所提供的一切数据处理能力，比如数据抽取、过滤、分组聚合、关联、排序，等等。不过，在这些常规的数据处理类型中，有一类操作需要我们特别关注，它就是数据关联（Joins）。这主要是出于两方面的原因，一来，数据关联的应用非常普遍，可以说是数据应用中“出场率”最高的操作类型之一；再者，与批处理中的数据关联不同，流计算中的数据关联，还需要考虑到流处理过程中固有的一些限制，比如说时间窗口、数据延迟容忍度、输出模式，...

Spark学习:分布式环境上的关联形式?

nzbing的博客

02-11

809

在大数据的应用场景中,数据的处理往往是在分布式环境上进行的,在这种情况下,数据关联的计算往往还要考虑网络分发这个环节

参与评论您还未登录，请先登录后发表或查看评论

Spark SQL Join类型

sperospera的博客

04-12

1963

Spark SQL join工作是通过使用executors 操作DataFrame的多个分区，具体的过程和性能依赖join type和datasets的特征。join的过程中，包含了shuffle join 和broadcast join；在两个大的datasets join的过程中，进行了 shuffle join，使左右的dataset的分区数据到达executors。如： ...

Spark SQL五大关联策略

京东科技开发者

01-22

1009

选择连接策略的核心原则是尽量避免shuffle和sort的操作，因为这些操作性能开销很大，比较吃资源且耗时，所以首选的连接策略是不需要shuffle和sort的hash连接策略。◦Broadcast Hash Join（BHJ）：广播散列连接◦Shuffle Hash Join（SHJ）：洗牌散列连接◦Shuffle Sort Merge Join（SMJ）：洗牌排列合并联系◦Cartesian Product Join（CPJ）：笛卡尔积连接。

多线程中应用的关联机制

weixin_33913332的博客

12-08

2019独角兽企业重金招聘Python工程师标准>>> ...

Spark SQL 关联形式和关联机制

2401_84052244的博客

07-31

3205

Spark SQL 支持的关联形式多种多样，为了方便你查找，我把它们的含义与效果统一整理到了如下的表格中。你需要掌握 3 种 Join 实现机制的工作原理。为了方便你对比，我把它们总结在了下面的表格里。

拾壹SparkSQL-join:不同的关联形式与实现机制

someInNeed的博客

12-11

1765

Join 的种类非常丰富。如果按照关联形式（Join Types）来划分，数据关联分为内关联、外关联、左关联、右关联，等等。对于参与关联计算的两张表，关联形式决定了结果集的数据来源。因此，在开发过程中选择哪种关联形式，是由我们的业务逻辑决定的。而从实现机制的角度，Join 又可以分为 NLJ（Nested Loop Join）、SMJ（Sort Merge Join）和 HJ（Hash Join）。也就是说，同样是内关联，我们既可以采用 NLJ 来实现，也可以采用 SMJ 或是 HJ 来实现。区...

关联规则挖掘：分布式关联规则挖掘算法

kkchenjj的博客

07-14

943

在关联规则挖掘中，频繁项集（Frequent Itemset）是指在数据集中出现频率不低于预设阈值的项集。这里的“频率”通常指的是支持度（Support），即数据集中包含该项集的交易数占总交易数的比例。例如，考虑一个超市的销售数据，如果“面包”和“牛奶”这个组合在所有交易中至少出现了5%的次数，那么我们可以说“面包”和“牛奶”构成了一个频繁项集。MapReduce是一种编程模型，用于处理和生成大规模数据集。其核心思想是将大规模数据处理任务分解为可以并行处理的小任务，这些小任务可以在大量计算机上并行执行。

Spark SQL 关联策略选择

最新发布

2401_84052244的博客

07-31

3256

在分布式环境中，要想利用上述机制完成数据关联，Spark SQL 首先需要把两张表中 Join Keys 一致的数据分发到相同的 Executors 中。因此，数据分发是分布式数据关联的基础和前提。Spark SQL 支持 Shuffle 和广播两种数据分发模式，相应地，Join 也被分为 Shuffle Join 和 Broadcast Join，其中 Shuffle Join 是默认的关联策略。关于两种策略的优劣势对比，我也整理到了如下的表格中，供你参考。

Spark：关联函数

feizuiku0116的博客

11-21

158

当两个RDD的数据类型为二元组Key/Value对时，可以依据Key进行关联Join x = sc.parallelize([(1001, "zhangsan"), (1002, "lisi"), (1003, "wangwu"), (1004, "zhangliu")]) y = sc.parallelize([(1001, "sales"), (1002, "tech")]) # ==========join========== joined = x.join(y) # ==========leftO

Spark实现关联分析

Windsearcher的博客

12-11

1104

1.理解关联规则市场购物篮分析的结果是一组指定商品之间关系模式的关联规则，一个典型的规则可以表述为： {花生酱，果酱} –> {面包} 这个关联规则用通俗易懂的语言来表达就是：如果购买了花生酱和果酱，那么也很有可能会购买面包。我们分析的就是事物之间关系，某些事物是否存在联系。 2.测试数据 a,b,c a,b,d b,a,d b,c,e b,d,e a,b,c a...

Spark:将二表关联

weixin_48109576的博客

08-14

282

package Restart import com.alibaba.fastjson.{JSON, JSONException} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object JoinOrderTable { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppN.

Spark 关联规则挖掘

weixin_39709476的博客

10-22

1363

Spark 关联规则挖掘关联分析基本概念关联分析的任务就是从数据集中挖掘出频繁项集，然后从频繁项集中提取出事物之间的强关联规则，辅助决策。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f0tZ2CJV-1603351839993)(C:\Users\t\AppData\Roaming\Typora\typora-user-images\image-20201022103811162.png)] 假设上表为某超时用户的购物数据，*TID代表交易流水号，Items代表一次交

sparkSql表关联实际业务场景

weixin_44947939的博客

01-11

377

【代码】sparkSql表关联实际业务场景。

sparkmllib关联规则算法（FPGrowth,Apriori）

热门推荐

prometheus的博客

11-20

1万+

关联规则算法的思想就是找频繁项集，通过频繁项集找强关联。介绍下基本概念：对于A->B 1、置信度：P(B|A)，在A发生的事件中同时发生B的概率 p(AB)/P(A) 例如购物篮分析：牛奶 ⇒ 面包 2、支持度：P(A ∩ B)，既有A又有B的概率假如支持度：3%，置信度：40% 支持度3%：意味着3%顾客同时购买牛奶和面包置信度

Spark 浅谈Spark中的各种join

dinl_vin的博客

02-16

3791

众所周知,Join的种类丰富: 按照**关联形式(**Join type)划分: 有内关联,外关联,左关联,右关联,半关联,逆关联等,由业务逻辑决定的关联形式决定了Spark任务的运行结果; 按照关联机制(Join Mechanisms)划分: 有NLJ(Nested Loop Join) , SMJ(Sort Merge Join)和HJ(Hash Join),由数据内容决定的实现机制,则决定了Spark任务的运行效率; 关联形式 Spark支持的关联形式: 关联形式 Join Type关键字

oracle三种关联机制,【PL/SQL数据库】三种关联机制 - 执行计划

weixin_39923623的博客

04-03

3321

看完这章你会学习到以下内容：1. 三种关联分别是什么？2. 什么时候那个适合用哪个？(总结)一共有三种关联机制：Nest Loop 嵌套循环 (大小表)Sort Merge 排序合并 (添加索引+两张大表)Hash Join 哈希 (内联)嵌套循环对上图进行简单的解释，在进行嵌套循环的时候，通常情况是(大表+小表)的形式，并且会以小表作为内表，因为小表可以常驻内存，这样当进行磁盘IO的时候，只有大...

浅谈UML中类之间的五种关系及其在代码中的表现形式

weixin_33712881的博客

05-13

480

什么是类？将某类东西归纳在一起，可以成为一个类。类有很多种提炼角度，需要根据系统地目标、业务的场景，选取合适的角度对事物进行归纳。什么是类图？类图可能是UML中使用的最多的一种图。和其他图一样，类图的基本语法并不复杂，可能一两天就能掌握，但是真正做到灵活的使用类图，可能需呀多年的功力。类图是锻炼OOA(OO Analysis)和OOD(OO Design)思想的重要工具，有...

设计模式的六种关系与代码之间的对应

王华春_Jason

11-23

1365

强弱关系：依赖<关联<聚合<组合<实现<继承一、依赖VS关联依赖依赖关系的定义为：对于两个相对独立的对象，当一个对象负责构造另一个对象的实例，或者依赖另一个对象的服务时，这两个对象之间主要体现为依赖关系。定义比较晦涩难懂，但在java中的表现还是比较直观的：类A当中使用了类B，其中类B是作为类A的方法参数、方法中的局部变量、或者静态方法调用。说明：虚线+箭头可描述为：Uses a 依赖是类的六种关系中耦合最小的一种关系。因为在生成代码的时候，这两个

Spark数据处理：Databricks技术与知识库

考虑到标签 "spark数据处理databri" 的不完整性，它很可能是 "Apache Spark 数据处理" 和 "Databricks" 的简写形式。这两个关键词清晰地指出了文档将涵盖的两个主要主题。根据文件信息，以下是可以提取出的知识点...