Spark 系列（七）—— 基于ZooKeeper搭建Spark高可用集群

一、集群规划

这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主 Master。

二、前置条件

搭建 Spark 集群前，需要保证 JDK 环境、Zookeeper 集群和 Hadoop 集群已经搭建，相关步骤可以参阅：

• Linux 环境下 JDK 安装
• Zookeeper 单机环境和集群环境搭建
• Hadoop 集群环境搭建

三、Spark集群搭建

3.1 下载解压

下载所需版本的 Spark，官网下载地址：http://spark.apache.org/downloads.html