Spark运行方式

最新推荐文章于 2024-06-15 07:00:00 发布

原创最新推荐文章于 2024-06-15 07:00:00 发布 · 374 阅读

0 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了Spark Application的运行环境搭建，从启动SparkContext开始，详细阐述了Spark与资源管理器（如Standalone, Mesos, Yarn）交互的过程，Executor如何申请和运行Task，以及Spark的DAG图和Stage分解。重点提及了Spark的运行特点，包括executor的持久化、Application间的隔离、资源管理的灵活性以及Client与Executor的位置要求。此外，还提到了Task的数据本地性和推测执行优化策略。" 132821578,19687574,使用DCMTK构建VR和IOD检查器,"['医学影像', ' DICOM', 'VR编程', 'IOD检查', 'C++库']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面是Spark运行方式图解

构建Spark Application的运行环境，启动SparkContext
SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动standaloneExecutorbackend
Executor向SparkContext申请Task
SparkContext将应用程序分发给Executor
SparkContext构建成DAG图，将DAG图分解成Stage、将Taskset发送给Task Scheduler，最后由Task Scheduler将Task发送给Executor运行
Task在Executor上运行，运行完释放所有资源

Spark运行特点

每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行Task。这种Application隔离机制是有优势的，无论是从调度角度看（每个Driver调度他自己的任务），还是从运行角度看（来自不同Application的Task运行在不同JVM中），当然这样意味着Spark Application不能跨应用程序共享数据，除非将数据写入外部存储系统
Spark与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了
提交SparkContext的Client应该靠近Worker节点（运行Executor的节点），最好是在同一个Rack里，因为Spark Application运行过程中SparkContext和Executor之间有大量的信息交换
Task采用了数据本地性和推测执行的优化机制