Spark基于zookeeper的HA

最新推荐文章于 2024-02-24 02:10:52 发布
原创 最新推荐文章于 2024-02-24 02:10:52 发布 · 511 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在Spark中配置基于Zookeeper的高可用性(HA)设置。首先准备Zookeeper环境并完成Spark集群的基本配置，然后通过修改spark-env.sh文件来指定Zookeeper的相关参数。最后，通过实际操作验证当主节点发生故障时，备用节点能够成功接管成为新的主节点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark基于zookeeper的HA

1.    准备

Zookeeper环境

参考：http://blog.youkuaiyun.com/mapengbo521521/article/details/41777721

Spark环境

参考：http://blog.youkuaiyun.com/mapengbo521521/article/details/49966677

2.    配置spark

进到spark的配置目录，在spark-env.sh修改如下

Export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1:2181,spark2:2181 -Dspark.deploy.zookeeper.dir=/spark"

export JAVA_HOME=/home/hadoop/jdk/jdk1.7.0_21

#export SPARK_MASTER_IP= hadoop1

#export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=1g

把这个配置文件分发到各个节点上去

scp spark-env.sh root@hadoop2: $SPARK_HOME /conf/

scp spark-env.sh root@hadoop3: $SPARK_HOME /conf/

 

启动spark集群

Sbin/start-all.sh

进入hadoop2节点，启动start-master.sh 当hadoop1节点挂掉时hadoop2顶上充当master

jps查看hadoop1 和hadoop2 均存在Master进程

 

3.    测试HA是否生效

查看hadoop1 和hadoop2 均存在Master进程，hadoop2处于待命状态

在hadoop1上把master节点停掉 sbin/stop-master.sh

访问http://hadoop1:8080,发现已经挂掉。

访问http://hadoop2:8080,发现hadoop2已经已经接管了hadoop1成为主节点。

 

基于Zookeeper的Spark高可用集群
Sartin的博客
04-23 873
目录标题网络配置测试网络修改主机名 & 主机映射关闭防火墙挂载--更换yum源--安装vim,gcc安装Java环境SSH无密码登录节点配置可以在这里进行server1，server2，server3的克隆安装hadoop-2.7.7(先在server1上执行就可以了)配置hadoop集群环境(先在server1上执行就可以了)安装下载zookeeper并配置环境(三台机子都要执行)zoo...
基于Zookeeper的Spark HA配置说明
不积跬步，无以至千里；不积小流，无以成江海！
08-24 4781
默认情况下在Spark standalone集群中进行计算时，由于是RDD的计算模型，所以可以认为worker 已经是有HA特性的了，但是负责资源调度的Master节点有可能出现单点故障。所以为了保证环境的稳定，还是需要配置HA功能。 官方文档中提供了两种HA的机制  基于Zookeeper：利用ZooKeeper来提供主节点选举和集群状态的存储，可以在集群中运行多个连接到同一个Zoo
spark基于Zookeeper配置高可用
weixin_59061079的博客
11-03 1102
spark配置高可用
Spark通过zookeeper配制Master的高可用
qq_43193797的博客
04-10 334
环境进入spark_基于ZooKeeper搭建Spark高可用集群
weixin_33331639的博客
01-12 282
一、集群规划这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主...
zookeeper实现spark高可用
07-15 1011
一 安装zookeeper 1.环境：hadoop+spark详情参考如下地址 https://blog.youkuaiyun.com/qq_36434219/article/details/80716189 2.下载zookeeper-3.4.10.tar.gz包,jdk1.8 3.解压（本人特意建了一个用户） 4.创建data和logs目录 5.修改配置文件(可以先配置hosts文件，...
Master基于ZooKeeper的HighAvailability源码实现
03-03
Spark可以选用ZooKeeper来实现HA。ZooKeeper提供了一个LeaderElection机制，利用这个机制可以保证虽然集群存在多个Master但是只有一个是Active的，其他的都是Standby，当Active的Master出现故障时，另外的一个...
hadoop、spark、zookeeper配置大全，绝对可用
10-19
在Hadoop、Spark、Zookeeper配置中，有许多重要的知识点需要掌握。首先，我们需要了解Hadoop、Spark和Zookeeper的基本概念。 Hadoop是一个开源框架，它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和...
hadoop+hive+spark+zookeeper+hbase大数据环境搭建
fengwuxichen的博客
04-17 1024
1. 硬件环境 主机名 IP地址 操作系统 master 172.16.34.101 CentOS Linux release 7.3.1611 slave01 172.16.34.102 CentOS Linux release 7.3.1611 slave03 172.16.34.103 CentOS Linux release 7.3.1611 2. 软件版本 ...
Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现
热门推荐
anzhsoft的技术专栏
06-24 3万+
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。 为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是
spark安装_Spark+Zookeeper搭建高可用Spark集群
weixin_39956353的博客
11-26 215
Spark三种分布式部署方式比较目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARNSpark standalone模式分布式部署环境介绍说明依赖scala： Note that support for Java 7, Python 2.6 and old Hadoop versions before 2.6.5...
zookeeper：spark-project项目的zookeeper配置
不花的花和尚的博客
09-18 454
安装ZooKeeper 1、将zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对zookeeper-3.4.5-cdh5.3.6.tar.gz进行解压缩：tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz。 3、对zookeeper目录进行重命名：mv zooke...
Zookeeper与Spark集成与数据处理
AI天才研究院
01-28 1250
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Apache Spark 都是 Apache 基金会开发的开源项目，它们在分布式系统中扮演着重要的角色。Zookeeper 是一个高性能的分布式协调服务，用于管理分布式应用程序的配置、同步数据和提供原子性操作。Spark 是一个快速、通用的大数据处理引擎，用于处理批量数据和流式数据。 在大数据处理场景中，Zookeeper ...
Zookeeper与ApacheSpark的实现与应用
AI天才研究院
02-24 1107
Zookeeper与ApacheSpark的实现与应用 作者：禅与计算机程序设计艺术 背景介绍 分布式系统的发展 近年来，随着互联网和物联网的快速发展，分布式系统的应用也变得越来越普遍。分布式系统是指由多个节点组
Spark+zookeeper
皮皮虾的博客
05-18 1561
基于zookeeper 的Spark HA配置说明首先按照zookeeper，见上一篇配置spark.env.sh将SPARK_MASTER_IP 一行删除增加export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=h101:2181,h102:2181,h1...
Spark集群搭建+基于zookeeper的高可用HA
lishuan182的博客
08-26 1万+
1. Spark高可用HA 1.1安装zookeeper 1.1.1下载zookeeper-3.4.6 1.1.2 解压zookeeper 1.1.3 修改ZOOKEEPER_HOME/PATH 1.1.4 zookeeper-3.4.6]$ mkdirlogs /data ①cpconf/zoo_sample.cfg conf/zoo.cfg ②修改zoo.cfg中的
Spark集群基于Zookeeper的HA搭建部署笔记
panguoyuan的专栏
01-26 3824
1.环境介绍 （1）操作系统RHEL6.2-64 （2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152) （3）两个节点上都装好了Hadoop 2.2集群 2.安装Zookeeper （1）下载Zookeeper：http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz （2
基于zookeeper实现standalone HA模式步骤
最新发布
08-02
<think>我们正在配置Spark Standalone模式的高可用性（HA），使用ZooKeeper作为协调服务。 根据引用[2][3][4]，配置步骤主要涉及修改spark-env.sh文件，注释掉SPARK_MASTER_HOST，并设置SPARK_DAEMON_JAVA_OPTS参数来指定ZooKeeper的地址和恢复模式。 同时，需要启动ZooKeeper集群（引用[1][2]）。 步骤总结如下： 1. 停止所有Spark服务（如果正在运行）。 2. 修改每个节点（包括所有Master和Worker节点）的spark-env.sh配置文件： - 注释掉（或删除）SPARK_MASTER_HOST配置项，因为在高可用模式下，我们不再固定一个Master节点，而是由ZooKeeper管理多个Master节点。 - 添加SPARK_DAEMON_JAVA_OPTS环境变量，指定恢复模式为ZOOKEEPER，并配置ZooKeeper的URL以及ZooKeeper上存储Spark状态的路径。 3. 启动ZooKeeper集群（确保ZooKeeper集群已经配置并运行）。 4. 启动Spark集群：首先在一个节点上启动主Master，然后在其他节点上启动备用的Master，最后启动Worker节点。 详细步骤：</think>### 基于 ZooKeeper 的 Spark Standalone HA 配置步骤 通过 ZooKeeper 实现 Spark Standalone 高可用性（HA）模式，需按以下流程操作（所有节点均需配置）： --- #### 1. **基础环境准备** - **ZooKeeper 集群**：确保已部署正常运行的 ZooKeeper 集群（至少 3 节点）[^5] - **主机名解析**：所有节点 `/etc/hosts` 包含一致的域名解析： ```bash 192.168.1.101 node1 192.168.1.102 node2 192.168.1.103 node3 ``` --- #### 2. **修改 `spark-env.sh` 配置** 在所有 Spark 节点执行： ```bash cd $SPARK_HOME/conf vim spark-env.sh ``` **关键修改项**： ```bash # 注释或删除单点 Master 配置（重要！） # export SPARK_MASTER_HOST=node1 # 启用 ZooKeeper HA 模式 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark-ha" ``` **参数说明**： | 参数 | 值示例 | 作用 | |------|--------|------| | `recoveryMode` | `ZOOKEEPER` | 启用 ZooKeeper 故障恢复 | | `zookeeper.url` | `node1:2181,node2:2181,node3:2181` | ZooKeeper 集群地址 | | `zookeeper.dir` | `/spark-ha` | ZooKeeper 存储路径（需唯一） | > 注：其他配置（如 `JAVA_HOME`, `SPARK_WORKER_MEMORY` 等）保持不变[^2][^4] --- #### 3. **启动集群服务** 按顺序执行： 1. **启动 ZooKeeper 集群**： ```bash # 在每台 ZooKeeper 节点执行 zkServer.sh start ``` 2. **启动首个 Master（主节点）**： ```bash # 在 node1 执行 $SPARK_HOME/sbin/start-master.sh ``` 3. **启动备用 Masters**： ```bash # 在 node2 和 node3 执行 $SPARK_HOME/sbin/start-master.sh ``` 4. **启动 Workers**： ```bash # 在所有节点执行（指向任一 Master） $SPARK_HOME/sbin/start-worker.sh spark://node1:7077 ``` --- #### 4. **验证 HA 状态** - **检查 Master 状态**： ```bash # 查看活跃 Master curl http://node1:8080 | grep "Status: ALIVE" # 查看备用 Master（应显示 STANDBY） curl http://node2:8080 ``` - **ZooKeeper 数据验证**： ```bash zkCli.sh -server node1:2181 ls /spark-ha/standalone # 应显示 leader_election 和 worker 目录 ``` --- #### 5. **故障转移测试** 1. 手动停止活跃 Master： ```bash $SPARK_HOME/sbin/stop-master.sh # 在 node1 执行 ``` 2. 30 秒内观察备用 Master（如 node2）自动升级为活跃状态 3. Workers 自动重连到新 Master（日志无中断） > 提示：Web UI 端口默认为 `8080`，可通过 `SPARK_MASTER_WEBUI_PORT` 修改[^2] --- ### 配置示例图 ```mermaid graph LR ZK[ZooKeeper集群] -->|协调选举| M1(Master-活跃) ZK -->|状态同步| M2(Master-备用) ZK -->|状态同步| M3(Master-备用) M1 --> W1[Worker] M1 --> W2[Worker] M2 -. 故障切换 .-> W1 ``` ### 关键注意事项 1. **ZooKeeper 路径权限**：确保 `/spark-ha` 路径在 ZooKeeper 中存在且可写 2. **防火墙开放**： - Master 通信端口：`7077` - ZooKeeper 端口：`2181`/`2888`/`3888` 3. **所有节点配置同步**：`spark-env.sh` 需在所有 Master/Worker 节点保持一致 > 实测数据：故障转移通常在 **10-30秒** 内完成，具体取决于 ZooKeeper 会话超时设置（默认 `tickTime=2000ms`）[^3] --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值