Spark知识点理解（RDD、宽依赖、窄依赖、广播变量和累加器）

最新推荐文章于 2025-12-16 08:22:03 发布

转载最新推荐文章于 2025-12-16 08:22:03 发布 · 159 阅读

文章标签：

#spark

start 专栏收录该内容

2 篇文章

订阅专栏

本文深入探讨了关键信息技术领域的最新进展，涵盖了从算法优化到大数据处理的多个方面，旨在为读者提供全面的技术视角。

https://www.cnblogs.com/frankdeng/p/9301653.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

IIIRoot

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark避坑系列（三）（Spark Core-RDD 依赖关系&持久化&共享变量）

艺术架构

01-11

696

该篇章主要介绍spark的编程核心RDD的其他概念，依赖关系，持久化，广播变量，累加器等

spark rdd之间的宽依赖和窄依赖

u013174239的博客

05-07

638

①task从hdfs读取数据到linesRDD中，同一批task对linesRDD进行flatMap操作；②继续对wordsRDD做map操作，记录单词次数③这个地方会划分一个stage，新的一批task会提交到executor上，对pairs RDD做reduceByKey操作窄依赖（narrow dependency）：每一个父RDD的Partition最多被子RDD的一个Partition使...

参与评论您还未登录，请先登录后发表或查看评论

spark学习笔记1——rdd、宽窄依赖、DAG

tianyuzui6的博客

07-19

749

一个RDD有一个或多个分区（partitions）组成，每个partition会被一个计算任务所处理。用户可以在创建RDD时指定其分区个数，没指定则默认采用程序所分配到的cpu核心数。

Spark基础入门（二）--------DAG与RDD依赖

可可的专栏

01-16

8017

spark 一、 DAG定义二、RDD依赖关系三、划分stage 四、小实验

RDD的依赖关系、窄依赖、宽依赖、RDD的缓存、RDD缓存方式、DAG的生成、RDD容错机制之Checkpoint

涂作权的博客

07-08

3438

1、RDD的依赖关系RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 1.1、窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用总结：窄依赖我们形象的比喻为独生子女1.2、宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Parti

宽依赖窄依赖+stage划分

Tomorrow never comes

03-06

3079

1.RDD的依赖关系1.1 WordCount中的RDDRDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。1.2 窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用总结：窄依赖我们形象的比喻为独生子女1.3 宽依赖宽依赖指的是多个子RDD的Partitio...

spark系列13：闭包，累加器，广播变量

涤生大数据

03-18

921

1. RDD 的分布式共享变量、闭包目标理解闭包以及 Spark 分布式运行代码的根本原理理解累加变量的使用场景理解广播的使用场景什么是闭包闭包是一个必须要理解, 但是又不太好理解的知识点, 先看一个小例子 @Test def test(): Unit = { val areaFunction = closure() val area = areaFunction(2) println(area) } def closure(): Int =&

Spark 广播变量和累加器

2401_84052244的博客

07-30

3426

广播变量由 Driver 端定义并初始化，各个 Executors 以只读（Read only）的方式访问广播变量携带的数据内容。累加器也是由 Driver 定义的，但 Driver 并不会向累加器中写入任何数据内容，累加器的内容更新，完全是由各个 Executors 以只写（Write only）的方式来完成，而 Driver 仅以只读的方式对更新后的内容进行访问。关于广播变量，你首先需要掌握它的基本用法。

Spark的广播变量和累加器

lucasmaluping的专栏

11-19

357

一、概述在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark还是为两种常见的使用模式提供了两种有限的共享变量：广播变（broadcast variable）...

spark中的累加器和广播变量

https://blog.youkuaiyun.com/sinat_36710456

12-12

454

在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark还是为两种常见的使用模式提供了两种有限的共享变量：广播变（broadcast variable）...

一篇文章让你深刻了解累加器和广播变量

Mr_Yang888的博客

04-27

438

前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与他人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有纰漏之处，欢迎大家在留言区指正。小编也会及时改正。 DJ丶小哪吒又来与你们分享知识了，...

精选资源

Apache Spark RDD面试题

02-19

### Apache Spark RDD 相关知识点解析 #### 一、SparkContext 创建位置 - **知识点**：`SparkContext` 是 Spark 应用程序的入口点，它由用户在编写应用程序时手动创建。 - **解释**：在 Spark 应用程序中，`...

Spark的容错机制

2301_80954266的博客

12-15

296

每个RDD在构建数据时，会根据自己来源一步步倒导到数据来源，然后再一步步开始构建RDD数据。问题：如果一个RDD被触发多次，这个RDD就会按照依赖关系被构建多次，性能相对较差，怎么解决？

spark的Kryo 序列化介绍

2301_80954266的博客

12-14

1067

在 Apache Spark 分布式计算框架中，数据传输（例如 shuffle 阶段）和持久化（如将 RDD 缓存到内存或磁盘）都需要对数据进行序列化（将对象转换为字节流）和反序列化（将字节流转换回对象）。序列化/反序列化的效率对 Spark 作业的整体性能有显著影响。Spark 默认使用 Java 的原生序列化机制 (然而，这种机制通常会产生较大的序列化字节流，且序列化和反序列化的速度相对较慢。Kryo是一个快速、高效的 Java 对象序列化框架。

分布式爬虫架构：Scrapy+Kafka+Spark实战指南

这家伙很懒，什么都没有留下

12-15

814

如果用单机爬虫，每天处理100万次请求，按每秒5次请求计算，需要连续运行55小时——这还没算上网络延迟和反爬机制。A：立即启用备用代理池，建议使用住宅代理（如站大爷IP代理），配合每请求更换IP策略。当爬虫集群产生海量数据时，直接写入数据库会导致三个问题：数据库连接池耗尽、写入延迟飙升、系统耦合度高。生产环境建议配置3个Broker节点，每个节点分配8GB堆内存，分区数设置为节点数的2倍（如6个分区）。实际测试中，10个Scrapy节点组成的集群，每秒可处理200+个页面请求，比单机模式提升8倍性能。

从“内存溢出”到“稳定运行”——Spark OOM的终极解决方案

AI_5678的博客

12-14

437

摘要：本文介绍了Spark内存优化的关键策略：1）Executor内存配置遵循"单Task内存×核心数×1.5"公式，堆外内存需设为堆内50%-100%；2）CPU核心建议2-4个；3）分区优化包括设置并行度为总核数2-3倍、合并小文件和处理数据倾斜；4）通过SparkUI监控内存使用和倾斜情况。主要解决OOM问题的checklist包括调整内存参数、优化Shuffle分区和处理数据倾斜。

大数据Spark（七十五）：Action行动算子foreachpartition和count使用案例

Lansonli（蓝深李）的博客

12-13

1179

摘要：本文介绍了Spark中的两个重要Action算子：foreachPartition和count。foreachPartition以分区为单位遍历数据，适用于批量操作场景（如数据库连接），相比foreach能显著提高效率。count则用于统计RDD中的元素总数。文章通过Java和Scala代码示例展示了两种算子的具体用法，并强调Action算子会触发实际计算（与Transformations的延迟执行不同），每个Action算子对应一个Spark job。这些算子对于大数据处理中的结果收集和持久化操作至

spark的静态内存管理机制