博客介绍了Spark运行架构相关内容，包括Spark Application由1个driver和多个executors组成，还提及Application jar、Driver program、Cluster manager等概念，阐述了Deploy mode的不同情况，以及Executor、Task、Job的定义和作用，并给出相关文档链接。
spark运行架构 要背下来
http://spark.apache.org/docs/latest/cluster-overview.html
- Spark Application： 1个driver + 多个executors
- Application jar ： 打包时生成的jar包
- Driver program ：运行main函数的进程，并且创建了一个sparkcontext
- Cluster manager: 一个从cluster申请资源的外部服务
- Deploy mode: 区分driver进程跑在哪里；client模式下，driver跑在本地; cluster模式下，driver跑在集群里
- Executor： 启动应用程序的进程；它能够运行tasks,保存数据到memort/disk。每个application都有自己的executor;
- Task：作业的基本单元，每个task都会被送到一个executor上去执行
- Job： 众多task组成的并行计算，一个Spark的action算子产生一个Job
扫一扫
416
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
