详解spark部署模式client和cluster

已于 2023-06-30 10:29:11 修改
阅读量1.3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark最佳实战与性能优化 文章标签： spark 大数据 client cluster
于 2023-05-18 17:32:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/130746472
本文详细介绍了Spark在Yarn上的两种部署模式——Client和Cluster，分析了它们的本质区别，Driver程序的角色，以及两种模式在网卡流量、应用稳定性、日志查看和生产环境适用性等方面的特点。Client模式常用于测试，由于Driver运行在提交服务器上，可能导致网卡流量激增；而Cluster模式适用于生产，能减少数据移动开销并提高作业稳定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

又来了一个面试者…
我：spark有哪些部署模式，他们有什么区别
面试者：我们是用yarn来进行资源管理，部署spark有两种模式client和cluster，client用于测试，cluster用于生产
我：还有呢
面试者：…呃…client会造成网卡流量激增
我：怎么理解网卡流量激增？client模式为什么会造成网卡流量激增
面试者：…
我：还有哪些区别呢？
面试者：…
我：…感谢您的面试，回去等通知吧！

Spark在Yarn的两种部署模式

  1. Client模式
    在Client模式下，Driver程序在本地运行，即你写spark-submit命令的那台服务器上运行。Client模式主要用于测试。请注意，在Client模式下，只有Driver程序在本地运行，所有任务都在集群Woker节点上运行。

  2. Cluster模式
    在Cluster（集群）模式下，Driver程序在其中一个Woker节点（Ya

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[Spark进阶]-- spark-client和spark-cluster详解
欢迎来到我的博客，一起探索代码里的世界！
03-28 1万+
摘要 在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Client更适用于交互，调试模式，以下是它们的区别   Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceManager,M...
大数据之Spark部署模式
weixin_43339889的博客
04-16 836
Spark的两种部署模式
spark的client和cluster的模式介绍(五)
king_hui719的博客
03-30 552
Application Master在Yarn中，每个Application实例都有一个Application,实例都有一个 Application Master进程，它是Application启动的第一个容器。它负责和ResourceManger打交道，并请求资源，获取资源之后告诉NodeManager,为其启动container. ResourceManger:负责将集群的资源分配给各个应用...
YARN Cluster模式和Client模式的区别是什么
最新发布
weixin_43728099的博客
03-24 889
在 Apache Spark 的 YARN 部署中，
spark的client模式与cluster模式
javaMylife的博客
02-23 681
Client模式，driver端和sparksubmit在一起 Cluster模式，diver端和sparksubmit没关系了，他是一个特殊的executor，叫做DirverWapper（他需要读取jar包，所以最好把jar包放到hdfs上） 通过http请求启动 spark程序 ...
Spark 的 Yarn-cluster 模式和 Yarn-client 模式
weixin_33845477的博客
06-04 480
Spark 支持 Yarn 集群的部署模式，在 Spark On Yarn 模式下，每个 Spark 的 Executor 作为一个 Yarn container 在运行，同事支持多个任务在同一个 container 中运行。 Yarn 的 Application Master 概念：在 Yarn 中，每个 application 都有一个 Application 都有一个 Application...
Spark的Yarn Client与Yarn Cluster模式
m0_51691291的博客
12-30 767
Spark的Yarn Client与Yarn Cluster模式1、提交流程2、Yarn Client 模式3、Yarn Cluster 模式 1、提交流程   提交流程，其实就是开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流程。   在不同的部署环境中，这个提交过程基本相同，但是又有细微的区别，国内工作中，将 Spark 引用部署到Yarn 环境中会更多一些，所以以下提交流程是基于 Yarn 环境的。 Driver Spark 驱动器节点，用于执行 Spa
【spark床头书系列】Spark YARN Cluster和Client两种不同提交模式区别：
wang2leee的博客
11-23 1133
YARN Cluster和Client两种不同提交模式详细区别
Spark-部署模式详解（Deploy modes in Apache Spark）
喻师傅的学习笔记
05-20 1703
Spark部署模式
spark cluster和spark client的区别---转载
z7one
08-05 3133
Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceManager,Mesos master,Spark standalone)来决定哪些应用可以运行以及在哪什么时候运行，Slave服务(Yarn NodeManger)运行在每个节点上，节点上实际运行着Executor进程，此外还监控着它们的运行状态以及资源的消耗 Spark On Yarn模式，又分cluster和client模式。cluster和client的最大区别在于
Spark Client和Cluster两种运行模式的工作流程
专注于后端开发，时常接触大数据 、人工智能等
10-23 1849
1.client mode: Inclientmode, the driver is launched in the same process as the client that submits the application..也就是说在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。 该模式下的工作流程图主要如下： 工作流程如下...
spark cluster和client
qq1977261418的博客
09-09 342
在Yarn-cluster模式下，driver运行在Appliaction Master上 https://blog.youkuaiyun.com/high2011/article/details/67637338 http://www.jobplus.com.cn/article/getArticleDetail/30566 https://blog.youkuaiyun.com/Regan_Hoo/articl...
spark任务提交方式standalone-client和standalone-cluster对比
weixin_41745141的博客
03-06 481
spark任务提交方式standalone-client和standalone-cluster对比
Spark的standalone运行模式
不积跬步，无以至千里
12-18 1351
目录 正文 简介 运行流程 总结 正文 spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn，本文了解一下什么是standalone运行模式，它的运行流程是怎么样的。 简介 standalone模式，是spark自己实现的，它是一个资源调度框架。这里我们要关注这个框架的三个节点： 1）client 2...
spark部署方式之client 和cluster的区别
mzqadl的博客
02-26 5995
在使用spark-submit提交Spark任务一般有以下参数： ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... ...
Spark Client和Cluster两种运行模式的工作流程区别
Li_Jian_Hui_的博客
08-07 6287
1.client 模式: 在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。 该模式下的工作流程图主要如下： 工作流程如下： 1.启动master和worker . worker负责整个集群的资源管理，worker负责监控自己的cpu,内存信息并定时向master汇报 2.在client中启动Driver进程，并向master注册 3.master通过rpc与worker进行通信，通知worker启动一个或多个e
spark采用yarn模式部署时采用client和cluster的区别
xfysq_的博客
03-06 908
spark采用yarn模式部署时采用client和cluster的区别
Spark 部署模式DeployMode 【Cilent模式、Cluster模式】
shuyv的博客
05-10 5840
文章目录简介client 模式cluster 模式俩者区别Spark on YARNYARN Client 模式YARN Cluster 模式MAIN函数代码执行补充 简介 Spark Application 提交运行时部署模式 Deploy Mode ，表示的是 Driver Program 运行的地方。要么是提交应用的 Client：client ，要么就是集群中从节点（Standalone：Worker，YARN：NodeManager）：cluster 。 默认值为 client，当在实际的开发环
Spark有两种常见的提交方式：client 模式和 cluster 模式对机器 CPU 的影响
qq_43688472的博客
08-30 1024
总体而言，Client 模式下对机器的 CPU 影响较大，因为 Driver 运行在客户端节点上，而 Cluster 模式下对机器的 CPU 影响相对均匀，因为任务在整个集群中运行。客户端只负责提交应用程序，并不参与应用程序的实际运行。在 Client 模式中，机器的 CPU 负担主要集中在 Driver 进程上，因为 Driver 负责调度和监控整个应用程序的运行。在 Cluster 模式中，机器的 CPU 负担在整个集群中分布，因为 Driver 和 Executor 都在各自的节点上运行。
Spark执行模式详解：client与cluster模式对比
在Mesos集群上，Spark也有client和cluster两种模式，工作原理类似Standalone集群，只是资源管理由Mesos而非Spark自身负责。 每种模式都有其适用场景，选择哪种模式取决于对容错性、响应时间、资源管理和调试便利性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值