Spark工作原理

最新推荐文章于 2021-12-29 16:28:29 发布

原创

最新推荐文章于 2021-12-29 16:28:29 发布 · 284 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了Spark的基本概念，包括Cluster Manager、Application、Driver、Worker、Executor、Task、Job、Stage、RDD、DAGScheduler、TaskScheduler、共享变量以及运行模式。Spark的工作流程包括：客户端提交应用、Driver创建SparkContext、DAGScheduler和TaskScheduler调度、Task执行和作业完成。Spark支持Standalone、Mesos、YARN等多种运行模式，本地模式通常用于调试，而YARN集群模式用于生产环境。

基本概念
理解Spark的运行模式涉及一系列概念：
（1）Cluster Manager：在集群上获取资源的外部服务。目前有三种类型：1. Standalone, Spark原生的资源管理；2. Apache Mesos, 和Hadoop Mapreduce兼容性良好的资源调度框架；3. Hadoop Yarn, 主要指YARN中的ResourceManager.
（2）Application: 用户编写的应用应用程序。
（3）Driver: Application中运行main函数并创建的SparkContext, 创建SparkContext的目的是和集群的ClusterManager通讯，进行资源的申请、任务的分配和监控等。所以，可以用SparkContext代表Driver。
（4）Worker：集群中可以运行Application代码的节点。