spark之RDD

最新推荐文章于 2025-07-29 00:03:29 发布

未央夜色

最新推荐文章于 2025-07-29 00:03:29 发布

阅读量4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/u011283591/article/details/66972088

本文详细介绍了Spark中的核心概念RDD，包括其作为只读分区数据集的特性，弹性分布式特性，以及计算、分区和依赖的概念。讨论了RDD的创建、转化和行动操作，如过滤和去重，并介绍了共享变量如广播变量和累加器。还涵盖了RDD的持久化策略和工作流程，强调了DAG图在决定计算过程中的作用。

综述

概念与特性

RDD是spark最重要的抽象。spark统一建立在抽象的RDD之上。设计一个通用的编程抽象，使得spark可以应对各种场合的大数据情景。RDD模型将不同的组件融合到一起，选用其中的几个/所有，可以应付各种不同的场景。解决了mr的缺陷
1. 弹性分布式数据集Resilient Distributed Dataset。
2. 只读分区数据集，final修饰的
3. 一个分布式的数据集合，是spark中的核心，spark的操作都是围绕RDD展开的。
4. 真正的运算是在各个计算节点。
5. 当某个RDD操作丢失的时候，可以很快恢复。

分区

不同分区可能被划分到不同机器上。但是每个分区对应一个数据block
分区是个逻辑概念，新旧分区可能是同一块内存。（重要的优化，节约资源。）。在函数式编程，经常使用常量，但是很费内存，rdd的这种优化非常实用。防止内存的无限性扩充。
只是记录需要做的操作。只有当真正要执行的时候，才具体的执行。

计算

并行计算。计算/处理都是在各分区上，并行计算。并行，提高了效率。
真正的数据处理都是在各个分散的节点上。

依赖

子RDD从父RDD产生，父子RDD之间的关系。
- 宽依赖：依赖上级所有的RDD分区。宽依赖一般非常消耗资源，结果一般要缓存下来
- 窄依赖：依赖上级RDD的部分分区。计算的时候可能都在同一个节点上，节省资源
stage以依赖的区别，分成不同的stage
每个父RDD的分区，只能被最多一个字RDD使用，子RDD可以使用任意个父RDD。

RDD的操作

创建

从外部数据集中读取。来源于文件系统（HDFS，HBASE），textFile方法
这里的路径要让每个RDD的节点都能访问到

// 从外部文本中创建RDD。可以指定分片的个数
lines =  sc.textFle("路径",3)
// 一个目录下所有的文件。
lines = sc.wholeTextFile("路径")
// 从hadoop系统创建RDD
val rdd = newApiHadoopFile()
// 从hadoop数据创建RDD
val RDD = new ApiHadoopRDD()