zookeeper-笔记-命令

最新推荐文章于 2024-06-30 02:11:37 发布
最新推荐文章于 2024-06-30 02:11:37 发布
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： zookeeper 文章标签： zookeeper 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37862824/article/details/124621140
本文详细介绍了Zookeeper的启动与客户端使用，包括查看节点、创建节点和监听节点状态。同时，讲解了利用Zookeeper实现分布式锁的原理及步骤。此外，还阐述了Zookeeper集群的配置过程，包括配置文件、myid文件的设置以及启动多节点，并展示了节点间选举的领导者。最后，演示了客户端如何连接到多节点的Zookeeper集群。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、启动zk服务

其实就是启动了zookeeper服务端，只是开启了zookeeper一个节点，后面会介绍如何开启服务端多个节点

zkServer.sh start

二、启动完了之后，就可以通过客户端查看服务端的节点情况

1、启动zookeeper客户端 zkCli.sh
2、退出客户端：quit
3、查看当前服务端树形情况：ls -R /

客户端在服务端创建永久节点：create /app1
创建临时节点：create -e /lock

监听lock节点的状态：stat -w /lock
如果节点过期，会受到一个watchedEvent事件

三、使用zookeeper实现分布式锁：

原理：客户端1创建临时节点A，接着客户端2创建临时节点A,此时客户端2创建失败，客户端2监听节点A,等待释放，如果释放客户端2就会收到通知，然后客户端2在创建临时节点A，成功。

四、zookeeper实现master-worker

1、先创建 /workers节点(永久节点)：create /workers

2、在创建master临时节点：create -e /master "m1:2223" —m1表示znode的值，2223表示端口号

3、master创建成功后，在监听/workers节点下面的变化：ls -w /workers

4、创建临时worker节点1：create -e /workers/w1 'w1:2224'

4、创建临时worker节点2：create -e /workers/w2 'w2:2224'

五、配置3个节点的zookeeper集群：

第一步：首先准备三个配置文件、每次启动指定配置文件，那么就会启动三个zookeeper节点。这个配置可以从conf目录下面copy文件zook.cfg。修改一下配置，大致内容如下

第一个是存放数据的路径，三个节点的数据路径不能一样 第二个是端口号，三个节点的端口号不能一样，我们可以2181、2182、2183依次递增。 第三个点是，配置集群内节点与节点直接的通讯，这个数据的三个配置文件都一样，3333表示 集群中节点与节点直接的通讯端口，3334表示leader选举的端口。

比如下图在quorum目录下面放置三个cfg文件

第二步：配置myid文件

dataDir=/Users/leileijiang/IdeaProjects/zookeeper/temp/zook1
前面我们配置了数据存放的路径，但是前提是我们要在这个目录下面放置myid文件

怎么放置myid文件呢，myid文件存什么内容呢
可以分别进入到zook1、zook2、zook3目录下面执行下面命令

echo "1" > myid

就会在zook1目录下面生成文件和设置内容，当如zook2目标下面要执行：echo "2" > myid 同理zook3目录下面执行：echo "3" > myid

第三步：上面配置文件都弄好了之后，开始启动三个zookeeper服务端的节点

进入配置文件所在目标执行：zkServer.sh start-foreground ./zoo-quorum-node1.cfg 启动第一个zookeeper节点，分别启动三个节点

启动日志：查看被选为leader的节点
节点1：FOLLOWING - LEADER ELECTION TOOK - 208542 MS
节点2：LEADING - LEADER ELECTION TOOK - 229 MS
节点3：FOLLOWING - LEADER ELECTION TOOK - 20 MS

节点2的日志：LEADING表示节点2成了leader节点
节点1和节点3的日志：FOLLOWING 表示成了follower节点

4、第四步：开启一个zookeeper客户端，执行：zkCli.sh -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 表示客户端接入zookeeper服务的端口和每个节点的配置。

客户端启动日志：
Session establishment complete on server localhost/127.0.0.1:2181, session id = 0x100027c85860000, negotiated timeout = 30000

表示和2181建立了连接

断开2181节点，此时客户端又会重行连接zookeeper服务节点

Session establishment complete on server localhost/127.0.0.1:2182, session id = 0x200027c85970000, negotiated timeout = 30000

表示和2182建立了连接
zookeeper-negotiated session timeout
莱布尼兹
09-23 2724
  in zookeeper ,during certain io pressure,the client will try to reconnect to quorum.after that,the quorum peer will return a new session timeout (akka negotiatedSessionTimeout) to former,then clie...
ZooKeeper 使用中的问题：Len error
热门推荐
wenniuwuren
10-28 1万+
一. 问题现场：     一天夜里，一台服务器的 zk client 与 server 断开，一般情况下程序写好了自动重连会自动重连成功，但是这一次，怎么重连都连不上了。     client 端日志如下：就是不停地重连，但是连不上，看日志像是服务端挂了，但是其他 client 确好好地，说明服务端没挂 2017-10-07 23:59:44.466 [DEBUG] [org.apa
zk negotiated timeout和响应timeout讨论
09-14 8779
转自：http://crazyjvm.iteye.com/blog/1701032 http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息： Java代码   Client session timed out, have not h
ZooKeeper 会话超时
xiao.yu的博客
04-27 3139
转载：https://blog.51cto.com/nileader/938106 1、会话概述 在ZooKeeper中，客户端和服务端建立连接后，会话随之建立，生成一个全局唯一的会话ID(Session ID)。服务器和客户端之间维持的是一个长连接，在SESSION_TIMEOUT时间内，服务器会确定客户端是否正常连接(客户端会定时向服务器发送heart_beat，服务器重置下次SESSIO...
Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004
weixin_34268753的博客
11-14 5070
描述：windows调试 hbase 代码时，出现如下错误：Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是： 本地hosts文件未加ip映射。...
zookeeper频繁异常问题分析
weixin_30748995的博客
11-27 1850
Reference:https://blog.youkuaiyun.com/xjping0794/article/details/77784171 1.1操作系统信息1.1.1CPU信息 从上述可以看出在问题点CPU使用率并不高，故排除CPU问题。 1.1.2内存信息 CM监控界面并无内存信息，无法提供图片。 但问题期间...
zookeeper-3.4.9.tar.gz+安装过程笔记.doc
09-08
zookeeper.tar.gz包，及安装使用步骤：1、下载zookeeper.x.x.x.tar.gz,放到虚拟机上 2、解压 3、单机模式 a.在conf目录下，复制zoo_sample.cfg到当前文件夹下命名为zoo.cfg。zookeeper默认使用zoo.cfg配置文件 b....
zookeeper学习笔记
01-18
### Zookeeper 学习笔记 #### 一、Zookeeper 简介与安装配置 **Zookeeper** 是一个分布式协调服务框架，它提供了一种高效可靠的机制来维护集群中的配置信息、命名服务以及提供分布式锁等功能，使得开发人员能够...
安装Dubbo 并且安装注册中心(Zookeeper-3
2401_86088815的博客
06-30 421
小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你需要这些资料，⬅专栏获取学提升又不知道该从何学起的朋友，同时减轻大家的负担。**
Zookeeper学习笔记-客户端命令简介
hosaos的博客
02-28 433
文章目录1、Create - 创建Zookeeper节点2、ls / get - 读取节点信息3、set - 更新节点信息4、delete - 删除节点信息 本文简单介绍下zk客户端中增删改查命令的使用，首先，在ZK安装目录下的bin目录下执行以下命令,启动3个zk服务 ./zkServer.sh start ../conf/zoo1.cfg ./zkServer.sh start ../conf...
Docker搭建zookeeper集群-笔记
MarmotCoder
12-03 1868
关于docker 怎么安装使用，看我之前的博客。 直接进入正题： zookeeper 三个默认端口 2181：对cline端提供服务 3888：选举leader使用 2888：集群内机器通讯使用（Leader监听此端口） 服务端启动后，进入容器内部 /zookeeper/bin/ 下执行 #客户端请求连接服务器 ./zkCli.sh -timeout 5000 -serv...
ZooKeeper客户端线程模型学习
WillYang的博客
08-21 2092
在ZooKeeper的使用过程中，大家都知道ZooKeeper客户端与服务端在建立连接时使用长连接，以此来维护客户端与服务端之间的心跳及各种命令(远程通信)，那么客户端的线程模型是什么样的呢，今天我们就来一窥究竟。
Zookeeper 集群搭建（完整版及注意事项）
sdmanooo的专栏
10-14 1095
1、准备三台机器或虚拟机，系统是CentOS7 64位，jdk是1.8。 修改vi /etc/hostname ，分别改为node1，node2，node3。方便主机名区分 2、修改hosts文件，vi /etc/hosts，添加ip及主机名映射关系，便于用主机名访问ip， 改为如下内容（根据自己三台机器的主机ip来修改对应的ip）： ::1 localhost node1 localhost6 localhost6.localdomain6 192.168.72.128 no...
ZooKeeper客户端连接异常
weixin_42209881的博客
04-16 6842
09:11:34.394 [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2000] INFO o.a.s.s.o.a.z.s.ZooKeeperServer - Client attempting to establish new session at /127.0.0.1:55646 09:11:34.399 [AsyncLocalizer Executor - 0-SendThread(localhost:2000)] INFO o.a.s.s.o.a.z.Client
windows 安装zookeeper
幸运小侯子
04-08 6998
1.   概述 ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。     2.   安装&配置 在apache的官方网站提供了好多镜像下载地址，然后找到对应的版本，目前最新的是3.3
Zookeeper(一)概览,安装,zkCli.sh使用
书院二层楼
06-19 833
Zookeeper 概览,安装,zkCli.sh使用
Hive Hbase integration (整合) 出现zk始终连接 localhost:2181
iteye_12886的博客
03-11 2142
前提是 hive客户端和zk没在一台机器，hive只是作为客户端使用，没有和hadoop集群在一起。 hive 和 hbase 整合(integration) 的时候,在创建hive关联Hbase表的时候出现如下 zk始终连接localhost:2181,   建表语句如下： --------------------------------------------------------...
dubbo provider启动成功之后自动关闭的问题
quliuwuyiz的博客
04-23 5763
在原来的项目依赖myth，因依赖太多且没有相关注解及使用文档，想要将myth依赖剔除掉。在改造公司项目的过程中，遇到如下问题，原来怀疑是zookeeper的问题，后来发现哪怕是正常启动，也会报Will not attempt to authenticate using SASL (unknown error) 这个bug . 将怀疑定位在服务启动自动关闭，在git 官网https://git...
ZooKeeper-3.3.4集群安装配置
HFUTLXM的博客
08-11 522
"ZooKeeper-3.3.4集群安装配置"： 关键词：zookeeper-3.3.4 集群 安装 配置 zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（distributed synchronization）、命名服务（naming service）、集群维护（group maintenance）
// cluster1 上 将zookeeper 解压到/usr/local 目录下，配置环境变量 # vi /etc/profile // 添加以下内容 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6 export PATH=$ZOOKEEPER_HOME/bin:$PATH # cd /usr/local/zookeeper-3.4.6 // 在 conf 中新建zoo.cfg 文件 # vi conf/zoo.cfg // 输入以下内容 # 客户端心跳时间(毫秒) tickTime=2000 # 允许心跳间隔的最大时间 initLimit=10 # 同步时限 syncLimit=5 # 数据存储目录 dataDir=/home/hadoop_files/hadoop_data/zookeeper # 数据日志存储目录 dataLogDir=/home/hadoop_files/hadoop_logs/zookeeper/dataLog # 端口号 clientPort=2181 # 集群节点和服务端口配置 server.1=cluster1:2888:3888 server.2=cluster2:2888:3888 server.3=cluster3:2888:3888 // 创建 zookeeper 的数据存储目录和日志存储目录 14 大数据技术课程笔记本虚拟机搭建Hadoop集群操作文档 # mkdir -p /home/hadoop_files/hadoop_data/zookeeper # mkdir -p /home/hadoop_files/hadoop_logs/zookeeper/dataLog # mkdir -p /home/hadoop_files/hadoop_logs/zookeeper/logs // 修改文件夹的权限 # chown -R hadoop:hadoop /home/hadoop_files # chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6 // 在 cluster1 号服务器的 data 目录中创建一个文件myid，输入内容为1 // myid 应与zoo.cfg 中的集群节点相匹配 # echo "1" >> /home/hadoop_files/hadoop_data/zookeeper/myid // 修改 zookeeper 的日志输出路径(注意CDH版与原生版配置文件不同) # vi bin/zkEnv.sh // 将配置文件里面的以下项替换为红字的内容 if [ "x${ZOO_LOG_DIR}" = "x" ] then ZOO_LOG_DIR="/home/hadoop_files/hadoop_logs/zookeeper/logs" fi if [ "x${ZOO_LOG4J_PROP}" = "x" ] then ZOO_LOG4J_PROP="INFO,ROLLINGFILE" fi // 修改 zookeeper 的日志配置文件 # vi conf/log4j.properties // 修改为以下内容： zookeeper.root.logger=INFO,ROLLINGFILE log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender 将这个zookeeper-3.4.6 的目录复制到其他的两个节点上 # scp -r /usr/local/zookeeper-3.4.6 cluster2:/usr/local/ # scp -r /usr/local/zookeeper-3.4.6 cluster3:/usr/local/ // 退回 hadoop 用户 # exit // 刷新环境变量 $ source /etc/profile 完成了这些操作，启动时出现了JMX enabled by default Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg Starting zookeeper ... /usr/local/zookeeper-3.4.6/bin/zkServer.sh: line 113: /home/hadoop_er.pid: Permission denied FAILED TO WRITE PID
最新发布
03-24
<think>嗯，用户遇到了在启动Zookeeper时出现的权限问题，提示无法写入PID文件。首先，我需要理清整个配置过程，看看哪里可能出错了。用户按照步骤解压Zookeeper到指定目录，配置了环境变量，修改了日志路径，并复制到其他节点。然后启动时出现了权限被拒绝的错误，特别是在写入PID文件时。 首先，PID文件通常由Zookeeper的服务脚本zkServer.sh生成，默认路径可能是在数据目录或者Zookeeper的根目录下。用户遇到的错误信息显示路径是/home/hadoop_er.pid，但根据之前的配置，数据目录应该是/home/hadoop_files/hadoop_data/zookeeper，所以这里可能存在路径配置错误或者脚本中的变量问题。 接下来，检查zkServer.sh脚本的第113行。用户提到错误信息指向这一行，可能是因为脚本中设置PID文件的路径时没有正确的变量引用，导致PID文件被尝试写入到没有权限的目录，比如用户主目录而不是指定的数据目录。例如，如果脚本中的PID路径变量未正确配置，可能会默认到当前用户的家目录，而hadoop用户可能没有在该目录写入的权限。 另外，用户使用root用户操作后切换回hadoop用户，可能目录权限设置不当。虽然用户执行了chown -R hadoop:hadoop 对相关目录，但可能PID文件尝试写入的目录没有被正确授权。比如，如果PID文件路径是/home/hadoop_files/hadoop_data/zookeeper，需要确认hadoop用户是否有写权限。 还可能是在环境变量中ZOOPIDFILE没有被正确设置，导致脚本使用默认路径。或者，在zkServer.sh中，生成PID文件的路径拼接错误，比如使用了相对路径，导致实际路径不在预期的位置。 解决方案方面，首先检查zkServer.sh脚本中关于PID文件路径的部分，确认其是否指向了正确的目录，并且hadoop用户有权限写入。可能需要手动设置ZOO_PID_DIR环境变量，或者在脚本中修改PID路径到有权限的目录。另外，确保所有相关目录（如数据目录、日志目录）的所有权和权限正确设置，尤其是执行启动命令的用户是否有足够的权限。</think>以下是针对Zookeeper启动时出现`Permission denied`问题的逐步解决方案： --- ### **问题原因分析** 错误日志`/home/hadoop_er.pid: Permission denied`表明： 1. Zookeeper尝试将进程ID(PID)文件写入到`/home`目录下的`hadoop_er.pid` 2. 当前用户（hadoop）对`/home`目录没有写入权限 --- ### **解决方法** #### **步骤1：定位PID文件路径配置** Zookeeper默认将PID文件存储在`$ZOO_PID_DIR`目录下。检查以下文件配置： ```bash # 查看zkServer.sh中PID路径定义（重点关注第113行） vi /usr/local/zookeeper-3.4.6/bin/zkServer.sh ``` 找到类似以下配置片段： ```bash ZOO_PID_DIR="$(dirname "$ZOO_PIDFILE")" ``` --- #### **步骤2：修改PID文件存储路径** 需将PID文件存储到有权限的目录（如Zookeeper数据目录）： ```bash # 编辑zkServer.sh，在文件开头添加环境变量定义 export ZOO_PID_DIR=/home/hadoop_files/hadoop_data/zookeeper export ZOO_PID_FILE=$ZOO_PID_DIR/zookeeper_server.pid ``` 或直接在脚本中找到`ZOO_PIDFILE`赋值行，修改为： ```bash ZOO_PIDFILE="$ZOO_PID_DIR/zookeeper_server.pid" ``` --- #### **步骤3：验证目录权限** 确保目标目录归属hadoop用户且权限正确： ```bash # 检查目录所有权 chown -R hadoop:hadoop /home/hadoop_files # 检查目录权限（需至少755） chmod 755 /home/hadoop_files/hadoop_data/zookeeper ``` --- #### **步骤4：同步修改到所有节点** ```bash # 将修改后的zkServer.sh复制到其他节点 scp /usr/local/zookeeper-3.4.6/bin/zkServer.sh cluster2:/usr/local/zookeeper-3.4.6/bin/ scp /usr/local/zookeeper-3.4.6/bin/zkServer.sh cluster3:/usr/local/zookeeper-3.4.6/bin/ ``` --- #### **步骤5：重新启动Zookeeper** ```bash # 切换回hadoop用户 su hadoop # 启动服务（需在所有节点执行） zkServer.sh start # 检查状态 zkServer.sh status ``` --- ### **补充说明** 1. **日志路径问题**：如果仍存在日志权限错误，检查`ZOO_LOG_DIR`配置： ```bash # 确保日志目录存在且可写 mkdir -p /home/hadoop_files/hadoop_logs/zookeeper/logs chmod 755 /home/hadoop_files/hadoop_logs/zookeeper/logs ``` 2. **配置一致性**：所有节点的`myid`文件需分别设置为1、2、3，且与`zoo.cfg`中`server.x`对应 --- 通过以上步骤，权限问题应得到解决。如果仍报错，可通过`tail -f /home/hadoop_files/hadoop_logs/zookeeper/logs/zookeeper.log`查看详细日志。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

信仰_273993243

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值