Spark on Yarn

Spark on Yarn：Client模式与Cluster模式解析

最新推荐文章于 2025-05-23 19:11:05 发布

咸鱼出击

最新推荐文章于 2025-05-23 19:11:05 发布

阅读量315

点赞数

CC 4.0 BY-SA版权

文章标签： spark Yarn

本文链接：https://blog.youkuaiyun.com/weixin_42163700/article/details/80751455

Spark on Yarn分为Yarn-Client和Yarn-Cluster两种模式。Client模式中Driver运行在客户端，适合交互，可通过webUI访问状态；Cluster模式中Driver作为ApplicationMaster在YARN中启动，适合非交互任务，提交作业后可关闭Client。

Spark on Yarn 根据Driver 在集群中的位置分为两种模式，一种是Yarn-Client 模式，一种是 Yarn-Cluster模式（又称为standalone模式）

Yarn-Client模式中，Driver在客户端本地运行，这种模式可以使得Spark Application和客户端进行交互，因为Driver在客户端，所以可以通过webUI访问Driver的状态，默认是http://hadoop1:4040访问，而YARN通过http:// hadoop1:8088访问

在YARN-Cluster模式中，当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：

1. 第一个阶段是把Spark的Driver作为一个ApplicationMaster在YARN集群中先启动；
2. 第二个阶段是由ApplicationMaster创建应用程序，然后为它向ResourceManager申请资源，并启动Executor来运行Task，同时监控它的整个运行过程，直到运行完成

Spark Client 和 Spark Cluster的区别:

理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别
YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARN-Cluster模式不适合运行交互类型的作业
YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度他们工作，也就是说Client不能离开