前言
又来了一个面试者…
我:spark有哪些部署模式,他们有什么区别
面试者:我们是用yarn来进行资源管理,部署spark有两种模式client和cluster,client用于测试,cluster用于生产
我:还有呢
面试者:…呃…client会造成网卡流量激增
我:怎么理解网卡流量激增?client模式为什么会造成网卡流量激增
面试者:…
我:还有哪些区别呢?
面试者:…
我:…感谢您的面试,回去等通知吧!
Spark在Yarn的两种部署模式
-
Client模式
在Client模式下,Driver程序在本地运行,即你写spark-submit命令的那台服务器上运行。Client模式主要用于测试。请注意,在Client模式下,只有Driver程序在本地运行,所有任务都在集群Woker节点上运行。 -
Cluster模式
在Cluster(集群)模式下,Driver程序在其中一个Woker节点(Ya