Spark-RDD原理、WordCount运行流程

1.定义：

​ RDD为弹性分布式数据集，Spark中最基本的数据抽象。表现在代码中为一个抽象类，它代表一个弹性的，不可变，可分区，里面的元素可并行计算的集合

2.基本原理之YarnCluster模式

​ 当执行Spark-submit脚本时，首先Client客户端会调用内部main方法开始执行任务，将封装好的指令发送给ResourceManager，ResourceManager收到指令后会选择一台NodeManager来启动AppMaster，并且启动Driver程序（Client模式Driver程序会运行在客户端上，而Cluster模式会运行在AppMaster上）执行代码，初始化sc，将任务切分然后由APPMaster负责申请资源，然后启动ExecutorManager，并且在内部创建Executor对象，最后分配任务，执行任务

3.解释定义

3.1弹性

​ 1.存储的弹性：内存与磁盘的自动切换(Spark是基于内存计算的计算框架，当内存不够时，会溢出一部分暂时在磁盘)

​ 2.容错的弹性：数据丢失可以自动恢复(RDD本身不存储数据,当某一个阶段发生错误没有拉取到数据，可以返回上一级，直到某一可以拉去数据的RDD那一层即可)

​ 3.计算的弹性：计算出错重试机制(内置参数，在计算出错时可以重试)

​ 4.分片的弹性：文件有几个块，分区就有几个

3.2分布式

​ 数据存储在大数