zookeeper集群搭建--启动集群报错记录

最新推荐文章于 2024-09-27 15:45:18 发布
原创 最新推荐文章于 2024-09-27 15:45:18 发布 · 472 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了ZooKeeper集群启动过程中slave节点的启动顺序及其背后的原因，并解释了启动初期遇到的连接异常现象，强调这些现象是正常的，最终集群会稳定在一个Leader下。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

启动的顺序是slave-01>slave-02>slave-03，由于ZooKeeper集群启动的时候，每个结点都试图去连接集群中的其它结点，先启动的肯定连不上后面还没启动的，所以上面日志前面部分的异常是可以忽略的。通过后面部分可以看到，集群在选出一个Leader后，最后稳定了。

其他结点可能也出现类似问题，属于正常！

 

zookeeper集群搭建参考博客：https://blog.youkuaiyun.com/w1764033735/article/details/78956314

Linux教程（10）----[Zookeeper 集群搭建以及客户端使用]
房东的猫的博客
04-12 1424
什么是Zookeeper？Zookeeper是个什么东西？1.Zookeeper可以被用作注册中心。2.Zookeeper是Hadoop生态系统的一员。3.构建Zookeeper集群的时候，使用的服务器最好是奇数台。你以为就完了？错Zookeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅，负载均衡，命名服务，分布式协调/通知，集群管理，master选举，分布式和分布式队列；；
Zookeeper学习：服务器启动
小松de博客
10-28 1015
1. 服务端整体架构图 Zookeeper服务器的启动，大致可以分为以下五个步骤 配置文件解析 初始化数据管理器 初始化网络 I/O 管理器 数据恢复 对外服务 2. 单机版服务器启动 单机版服务器的启动其流程图如下 上图的过程可以分为预启动和初始化过程。 2.1 预启动 统一由 QuorumPeerMain 作为启动类。无论单机或集群，在 zkserver.cmd 和 zkServer.sh 中都配置了QuorumPeerMain 作为启动入口类。 解析配置文件 zoo.cfg。zoo.cfg配
zookeeper集群启动失败报错解决
CN_TangZheng的博客
08-05 3110
1.报错内容 三台主机安装zookeeper组件，发现只启动了其中一台，其他两台没有启动成功，但是检查配置文件之后发现都没有错误 配置文件没问题，查看日志文件：zookeeper.out zookeeper.out日志文件，你在哪里启动，就在那个文件夹中，我过滤出错误的信息出来 [root@ip-172-31-24-103 zookeeper]# cat zookeeper.out |grep ERR 2020-07-27 08:29:54,147 [myid:3] - ERROR [/172.31.24.
zookeeper搭建集群分布报错
名字要响亮一点才能让人记住
11-19 372
报错一：EOFException 报错二：ConnectException 我自己检查了以下几个操作，发现都没错，步骤有： 1.java环境变量--一开始确实没配，java --version之后，发现是openjdk，后来给我的三台虚拟机都配上java了 2.myid文件的配置，三台都配置对了，而且是conf/zoo.cfg中 dataDir配置的路径下的myid 3.防火墙 --sy...
zookeeper集群启动报错
qq_36448452的博客
10-16 427
zookeeper集群启动报错 [root@flink01 zookeeper-3.4.6]# bin/zkServer.sh status JMX enabled by default Using config: /opt/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg Error contacting service. It is probably not running. 解决： 集群模式的前提下，要多台机器同时启动起来，才能看到leader和follower le
启动zookeeper集群报错
dalong3976的博客
07-19 900
执行关闭命令systemctlstopfirewalld.service，之后正常启动。启动zookeeper集群报错。原因防火墙没有关闭。
Zookeeper集群启动报错：Cannot open channel to 2 at election address 192.168.135.1333888
baidu_41907361的博客
05-10 974
报错：Cannot open channel to 2 at election address /192.168.135.133:3888。记录一个启动zookeeper集群报错，如果你的zookeeper启动失败，查看日志。是因为没有权限开启其他机器的端口，可以去开放指定端口，或者是关闭防火墙。关闭防火墙后，问题解决。
Zookeeper基础入门-1【集群搭建】
qq_45740503的博客
02-28 1340
Zookeeper基础入门-1【集群搭建】
Docker compose 部署 zookeeper 集群
qq_62866151的博客
09-27 2138
ZooKeeper 是 Apache 软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper 的架构通过冗余服务实现高可用性。Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
ZooKeeper 集群的详细部署
slb190623的博客
08-15 7398
ZooKeeper 集群的详细部署
zookeeper集群启动错误
cihui0279的博客
08-29 260
启动有问题，首先要看日志：zookeeper.out 1.zoo.cfg文件配置有问题。 2.防火墙没有关闭 3.Connection refused：不知道原因，把zoo.cfg 中本机对应的ip 或主机名改为0.0.0.0，每个集群主机都改一下。 ...
解决ZooKeeper集群的启动报错，出现Error contacting service. It is probably not running问题
weixin_54342458的博客
03-02 2853
在搭建ZooKeeper集群后启动其中一个节点报错Error contacting service. It is probably not running.
zookeeper集群部署问题
zt3032的博客
08-30 241
今天在新的linux主机上部署zookeeper集群，各种配置完成、检查完毕后，启动报错如下： java.net.NoRouteToHostException: No route to host         at java.net.PlainSocketImpl.socketConnect(Native Method)         at java.net.AbstractPlainS
zookeeper集群启动顺序问题
banfa3755的博客
11-02 1184
问题描述：使用jps查看zookeeper进程存在，但是在bin目录下使用命令./zkServer.sh status查看zookeeper状态显示为未启动，查看日志报错如下： 原因及解决办法：原因暂时未知。解决办法为暂停集群中所有zookeeper，然后重新启动zookeeper，启动的时候先启动配置为leader的那台机器。 转载于:https://www.cnblogs.c...
zk集群部署启动错误
TreeCode的博客
02-08 221
跟着视频部署了集群，结果一启动就报下面这个错： Error contacting service. It is probably not running. [root@node02 conf]# zkServer.sh status ZooKeeper JMX enabled by default Using config: /opt/bigdata/zookeeper-3.4.10/bin/../conf/zoo.cfg Error contacting service. It is probably n
搭建zookeepper集群错误---zk集群无法启动
沐忆-"_"
09-19 865
在搭建zk集群时，总会出现zk集群无法启动的问题，今天在这里总结一下 几个重要的配置信息 zoo.cfg配置文件 server.1=pinyougou01:2888:3888 server.2=pinyougou02:2888:3888 server.3=pinyougou03:2888:3888 配置主机名和ip的映射，修改etc目录下的hosts文件和hostname文件 vi /etc/h...
zk集群无法启动的排查思路
qq_40337206的博客
08-25 713
1 检查进程 1.1 检查JAVA进程 JPS [hadoop@ruozedata001 script]$ jps 20768 DFSZKFailoverController 21538 Jps 20564 JournalNode 20247 NameNode 20359 DataNode 20968 NodeManager 20861 ResourceManager 21149 JobHisto...
Zookeeper服务器集群启动
elricboa的专栏
12-02 673
1.集群版服务器启动        集群版服务器启动流程如下图所示。 1.1 预启动 （1）统一由QuorumPeerMain作为启动类。 （2）解析配置文件zoo.cfg。 （3）创建并启动历史文件清理器DatadirCleanupManager。 （4）判断当前是集群模式还是单机模式的启动。        在集群模式中，由于已经在zoo.cfg
ZooKeeper集群服务器启动
coolshyman的博客
08-19 703
ZooKeeper的Leader选举过程，简单地讲，就是一个集群中所有的机器相互之间进行一系列投票，选举产生最合适的机器成为Leader，同时其余机器成为Follower或是Observer的集群机器角色初始化过程。当和Leader建立起连接后，Learner就会开始向Leader进行注册一所谓的注册，其实就是将Learner 服务器自己的基本信息发送给Leader 服务器，我们称之为LearnerInfo，包括当前服务器的SID和服务器处理的最新的ZXID。
DolphinScheduler 如何配置 Zookeeper 集群模式？
最新发布
05-15
<think>好的，用户现在想了解如何在DolphinScheduler中配置Zookeeper的集群模式。首先，我需要回顾之前的对话和提供的引用内容，确保回答准确且符合用户的实际需求。 用户之前询问了DolphinScheduler集群中Zookeeper是否必须集群部署，我之前的回答已经提到生产环境需要集群模式，并给出了配置示例。现在用户进一步询问具体的配置方法，可能需要更详细的步骤。 查看用户提供的引用内容，引用[1]提到DolphinScheduler3在伪集群模式下出现Zookeeper的问题，引用[2]提到了伪集群安装路径，引用[3]涉及集群搭建的日志目录和访问地址。这些引用可能对配置步骤有帮助，比如注意安装路径和日志排查。 用户可能是在实际部署中遇到了问题，或者在准备生产环境的配置。需要明确步骤，避免他们遇到类似引用[1]中的Zookeeper报错。因此，配置过程中要强调Zookeeper集群的正确设置，以及DolphinScheduler配置文件中的参数调整。 接下来，我需要分步骤说明配置过程，包括Zookeeper集群的基础配置、DolphinScheduler的修改部分、验证步骤以及注意事项。同时，要引用之前提到的内容，比如生产环境的建议和故障处理命令，如检查端口占用和重启服务。 需要确保用户清楚每个步骤的操作，比如修改Zookeeper的zoo.cfg文件，配置server.x列表，以及DolphinScheduler中common.properties和registry.properties的相关参数。此外，还要提醒用户版本兼容性问题，如引用[1]中提到的版本问题，避免因版本不匹配导致错误。 最后，总结配置后的验证方法，如检查日志和访问Web UI，确保服务正常运行。可能还需要提到常见问题的解决方法，比如节点无法加入集群时的排查步骤，帮助用户自行处理可能出现的问题。 整个思考过程中，需要保持逻辑清晰，步骤详细，同时结合之前的回答和引用内容，确保信息的连贯性和准确性，帮助用户顺利完成Zookeeper集群模式的配置。</think>#### DolphinScheduler 配置 Zookeeper 集群模式的详细步骤 --- ### **一、Zookeeper 集群基础配置** 1. **部署 Zookeeper 集群** - 至少部署 **3 个节点**（建议奇数节点），以下为 `zoo.cfg` 核心配置示例： ```bash # 节点唯一 ID（每个节点不同） server.1=zk-node1:2888:3888 server.2=zk-node2:2888:3888 server.3=zk-node3:2888:3888 # 数据目录和通信端口（所有节点相同） dataDir=/opt/zookeeper/data clientPort=2181 ``` - 在每个节点的 `dataDir` 目录下创建 `myid` 文件，写入对应的节点 ID（如 `1`, `2`, `3`）。 2. **启动 Zookeeper 集群** ```bash # 每个节点执行 zkServer.sh start # 验证集群状态 zkServer.sh status ``` - 输出应显示 `follower` 或 `leader`，表示集群正常[^2]。 --- ### **二、DolphinScheduler 集群配置** 1. **修改 `common.properties`** 在 DolphinScheduler 安装目录的 `conf/common.properties` 中配置 Zookeeper 集群地址： ```properties # Zookeeper 集群地址（多个节点用逗号分隔） registry.plugin.zookeeper.zk.connect-string=zk-node1:2181,zk-node2:2181,zk-node3:2181 # 会话超时时间（默认 60s） registry.plugin.zookeeper.zk.session-timeout=60000 # 命名空间（建议与 DolphinScheduler 版本匹配） registry.plugin.zookeeper.zk.namespace=dolphinscheduler-3.1.8 ``` 2. **配置 `registry.properties`** 确保注册中心类型为 Zookeeper： ```properties registry.plugin.name=zookeeper ``` 3. **同步配置到所有节点** - 将修改后的配置文件分发到 DolphinScheduler 所有 Master/Worker 节点，路径保持一致（如引用[2]中提到的 `/opt/module/dolphinscheduler`）。 4. **重启 DolphinScheduler 服务** ```bash # 停止服务 sh ./bin/stop-all.sh # 启动服务 sh ./bin/start-all.sh ``` --- ### **三、验证配置** 1. **检查 Zookeeper 注册信息** 使用 Zookeeper 客户端工具（如 `zkCli.sh`）查看节点注册状态： ```bash # 连接 Zookeeper 集群 zkCli.sh -server zk-node1:2181 # 查看 DolphinScheduler 注册路径 ls /dolphinscheduler-3.1.8 ``` - 正常应显示 `masters`, `workers`, `tasks` 等子节点。 2. **查看 DolphinScheduler 日志** 检查各节点日志文件（如引用[3]中的 `dolphinscheduler-master-server.log` 和 `dolphinscheduler-worker-server.log`），确认无 Zookeeper 连接错误。 3. **访问 Web UI** 登录 `http://<Master节点IP>:12345/dolphinscheduler`，进入「集群管理」查看节点状态[^3]。 --- ### **四、常见问题与解决方法** 1. **节点无法加入集群** - **排查点**： - 检查 `myid` 文件是否与 `zoo.cfg` 中的 `server.x` 匹配。 - 使用 `telnet zk-node1 2181` 验证网络连通性。 - 查看 Zookeeper 日志（`zookeeper.out`）中的选举和同步记录。 2. **Zookeeper 版本兼容性问题** - DolphinScheduler 3.x 要求 Zookeeper **3.4.6 及以上版本**，若出现类似引用[1]中的 `Failed to delete registry key` 错误，需升级 Zookeeper 或调整 DolphinScheduler 版本[^1]。 --- ### **总结** Zookeeper 集群模式是 DolphinScheduler 生产环境的核心依赖，配置时需重点关注 **节点一致性** 和 **网络通信**。若需进一步优化，可结合引用[1][2][3]中的日志分析和运维脚本提升稳定性。 --- #### 相关问题 1. 如何诊断 DolphinScheduler 与 Zookeeper 的连接超时问题？ 2. Zookeeper 集群中 Leader 选举失败的可能原因是什么？ 3. DolphinScheduler 升级时如何迁移 Zookeeper 注册数据？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值