spark概览

roadmap:

http://blog.youkuaiyun.com/u014729236/article/details/45364753

process:

http://blog.youkuaiyun.com/kongshuchen/article/details/52036340

http://blog.youkuaiyun.com/u014729236/article/details/45364753

work元素层级：

job

      stage

      TaskSet

             Task

同级表示1-1 ，不同级表示1-n

Task

    DAG图拆分为Stage <-> TaskSet

    位置 （怎么决定放哪？）

    process_local    -> cache

    node_local    ->   node内数据（硬盘）

    rack_local  -> 机架

    any

    类型

     shuffleMapTask

            返回MapStatus，作为下一个stage的输入数据

     resultTask    最后一个stage对应的task，collect

           如果结果小，返回DirectTaskResult

           否则，将结果序列化放到blockManager，将block id 返回

持久化层

执行过程：

action-> Runjob->(Driver-->DAG)->DAG schedule analyse->
建立stage,从action往前构建DAG 图->
遇到shuffle，构建新的stage->
新的stage次序： stagen stagen-1 ...  stage1 到头然后按这个次序顺序执行，一个有shuffle的task至少有2个stage

然后

DAG schedule ->(TaskSet)-> 提交一个stage(TeaskSet)给TaskScheduler<->SparkContext -> 
生成TaskSetManager 管理 stage，分拆stage成小task提交给executorBackend(默认提交4次防止失败) ->

各个workers 运行->

运行完成 , 从TaskManager删除

将运行结果加到TaskResultGetter

TaskSchedule

spark-cluster-TaskScheduler

yarn-cluster-YarnClusterScheduler

yarn-client-YarnClientClusterScheduler

struggle机制

当1%的任务还没运行完时，在另一个node上重新运行此任务

cache
执行新任务时，一样回溯构建transformation tree 直到回溯到已经缓存的块为止然后顺序执行
一般会把cache放在进程execute的那台机器上

spark 程序层的模型

×Driver        

          SparkConf

          SparkContext

           close

×input

×Transformation

×Action RDD

×persist or cache

×共享变量

       broadcast variable

       累加器

Spark shell

系统自动初始化SparkContext

并行化scala

  var rdd1 = sc.Parallelize(Array(1,2,3))  -> 3 个 executor

  var rdd1 = sc.Parallelize(Array(1,2,3) , 2) -> 2个executor

text

     textFile("")    "/directory"  "/directory/*.gz"  "/directory/*.txt"

sequence

hadoop InputFormat