超级会员免费看
本文详细介绍了如何在VMware上搭建Spark集群，包括集群拓扑、角色分配、虚拟机创建与配置、防火墙与SeLinux的关闭、SSH免密登录设置，以及Hadoop、Spark的安装配置。通过此教程，读者可以掌握如何从零开始搭建一个完整的Spark Standalone集群，以及在YARN和HA模式下的部署。
文章目录
- 零、本讲学习目标
- 一、Spark集群拓扑
- 二、搭建三节点集群
- 三、配置完全分布式Hadoop
- 四、配置Spark Standalone集群
- 五、启动Spark Standalone集群
- 六、使用Spark Standalone集群
- 七、搭建Spark On YARN集群
- 八、搭建Spark HA集群
- 九、启动Spark HA集群
- 十、测试Spark HA集群
零、本讲学习目标
- 搭建Spark Standalone模式的集群
- 能够启动Spark Standalone模式的集群
- 学会Spark应用程序的提交
Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。
一、Spark集群拓扑
（一）集群拓扑
- 一个主节点，两个从节点
（二）集群角色分配
- Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark，集群角色分配如下表所示。
| 节点 | 角色 |
|---|---|
| master | Master |
订阅专栏 解锁全文
扫一扫
653
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
