本文详细介绍了Spark中的RDD基础概念及其API，包括RDD的操作分类、特殊RDD和并行执行特性。同时，阐述了Spark的高容错机制——基于DAG图的lineage，解释了操作之间的依赖关系及数据恢复过程。
三， Spark的RDD
在Spark中一切都是以RDD为基础和核心的：
每个RDD的API如下所示：
Spark官方文档中给出了的众多的RDD：
RDD中的操作分为transformations和actions两种：
下面举一个例子来说明RDD的使用：
另外有两个特殊的RDD:
他们都是controlling operations：
RDD在执行的时候都是并行的：
四， Spark的高容错机制lineage
基于DAG图，lineage是轻量级而高效的：
操作之间相互具备lineage的关系，每个操作只关心其父操作，各个分片的数据之间互不影响，出现错误的时候只要恢复单个Split的特定部分即可：
扫一扫
615
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
