本文详细介绍了SparkStandalone集群架构，包括集群管理器Master进程和工作节点Worker进程的角色与功能。探讨了SparkStandalone模式与YARN集群模式的区别，以及在无需YARN和HDFS的情况下，如何利用Master+Worker架构进行Spark作业的编写与运行。此外，还阐述了两种部署模式client和cluster的工作原理。
Standalone集群架构.png
Spark Standalone集群
集群管理器，cluster manager：Master进程
工作节点：Worker进程
Spark Standalone集群模式与YARN集群模式不同之处就在于：
如果是Spark Standalone模式，甚至你根本不需要YARN集群，甚至连HDFS集群都可以不需要
Spark，Master+Worker集群架构，就足够了，然后就可以编写spark作业，提交作业到Master+Worker集群架构中去运行
两种deploy mode：
- client：你在哪台机器上，用spark-submit提交spark作业，就会在那台机器上启动driver进程
- cluster：作业是提交给master，master找一台worker进程，启动driver
扫一扫
1140
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
