《深入理解Spark》之RDD的理解

 

RDD全称Resilient Distribution DataSet  弹性的分布式数据集

其内部本身不存储数据，存储的类似于数据位置的指针，表明某个数据的具体位置

当spark集群从hdfs文件系统中读取文件后会把文件映射为一个RDD，这个RDD是逻辑上的概念其内部不存储数据，其中每个RDD的Partition和HDFS文件系统中的block

1、其内部是一系列的partition组成

2、每个函数应用于每一个Partition

3、RDD之间存在依赖关系（当一个RDD丢失后可以通过其上一个RDD计算重新获得）

4、分区器只应用于键值对的RDD上

5、任务分发到最佳位置上