Spark之RDD的理解及概述

最新推荐文章于 2023-01-31 14:50:32 发布

原创

最新推荐文章于 2023-01-31 14:50:32 发布 · 435 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

RDD（Resilient Distributed Dataset）是Spark的基础数据抽象，是不可变、可分区的集合，支持转化和行动操作。RDD采用惰性计算，通过血缘关系实现容错。其特点是分区、只读、依赖、缓存和检查点机制，适用于迭代计算和实时处理。

1.首先要了解什么是RDD

RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、弹性、里面的元素可并行计算的集合。
【在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。】

2.那RDD为什么会产生？

Hadoop中MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性的处理。
MR这种数据方式对迭代式算法和交互式数据挖掘不高效。
迭代式的算法比如机器学习中ALS、凸优化梯度下降等这些都需要基于数据或者数据集的衍生数据反复查询反复操作。即使MR串行处理，性能和时间也是一个问题，数据的共享依赖于磁盘。
MR中的迭代：
在这里插入图片描述
由图中可知，MR的迭代必然伴随着大量的磁盘读写操作，效率低下
Spark中的迭代：

【Spark的迭代则是在内存中进行的，大大的提升了效率】
伴随着更多海量数据的实时处理，我们迫切需要一个效率非常快，且能够支持迭代计算和有效数据共享的模型，Spark应运而生。RDD是Spark的基石，是实现Spark数据处理的核心抽象。
RDD是基于工作集的工作模式，更多的是面向工作流。