Spark On Yarn的执行流程及应用场景

本文介绍了Spark on YARN的两种运行模式:cluster模式和client模式,并详细阐述了每种模式下任务的提交流程及应用场景。cluster模式适合生产环境使用,而client模式则更适合交互式操作和调试。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、driver 运行在集群中(cluster模式)
1、client 向 yarn 提交一个job
2、ResouceManager 为该job在某个 NodeManager 上分配一个 ApplicationMaster,NM启动AppMaster,Appmaster 启动 driver
3、ApplicationMaster 启动后完成初始化作业,driver 生成一系列task
4、AM 向 RM 申请资源,RM 返回 Executo r信息
5、AM 通过 rpc 启动相应的 sparkExecutor
6、Driver 向 Executor 分配 task
7、Executor 执行结果写入文件或返回 driver 端
二、driver运行在client端
1、客户端启动后直接运行应用程序,直接启动 driver
2、driver 初始化并生成一系列 task
3、客户端将 job 发布到 yarn 上
4、RM 为该job 在某个 NM 分配一个 AM
5、AM 向 RM 申请资源,RM 返回Executor 信息
6、AM 通过 RPC 启动相应的 SparkExecutor
7、Driver 向 Executor 分配 task
8、Executor 执行task 并将结果写入第三方存储系统或者 Driver 端
Spark On Yarn的应用场景
1)yarn-cluster:适用于生产环境
2)yarn-client:适用于交互、调试、希望立即看到 app 的输出

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值