A_Eternal的博客

一、spark原理图二、sparkRDD图解*三、什么是Spark开发（核心编程原理）1，定义初始的RDD，即创建最原始的RDD 2，做最初始的RDD进行算子的转换操作（flatMap，map，filter…） 3，对新形成的RDD，继续进行操作，直至结果的计算完成。**四、RDD持久化原理Spark非常重要的一个功能特性就是可以将RDD持久化在

（1）简单的说：由driver向集群申请资源，集群分配资源，启动ex ecutor。driver将spark应用程序的代码和文件传送给executor。executor上运行task，运行完之后将结果返回给driver或者写入外界。（2）复杂点说：提交应用程序，构建sparkContext，构建DAG图，提交给scheduler进行解析，解析成一个个 stage，提交给集群，由集群任务管理器进行调度