hbase启动时zookeeper不能启动的问题

最新推荐文章于 2025-09-18 09:10:51 发布
原创 最新推荐文章于 2025-09-18 09:10:51 发布 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #zookeeper #hadoop #集群 #启动失败

在虚拟机重启后，HBase无法启动，因为Zookeeper无法启动。问题源于Zookeeper在启动过程中遇到'NoNode'错误。通过创建一个临时目录/home/hadoop/tmp，并在hbase-site.xml配置文件中添加'hbase.tmp.dir'属性来解决这个问题。

前几天虚拟机挂了，重新弄好后发现hadoop集群能正常启动，hbase却不能，原因是zookeeper没法启动，查看zookeeper的日志，错误如下：

java.lang.RuntimeException: Unable to run quorum server
        at org.apache.zookeeper.server.quorum.QuorumPeer.loadDataBase(QuorumPeer.java:454)
        at org.apache.zookeeper.server.quorum.QuorumPeer.start(QuorumPeer.java:409)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.runFromConfig(QuorumPeerMain.java:151)
        at org.apache.hadoop.hbase.zookeeper.HQuorumPeer.runZKServer(HQuorumPeer.java:80)
        at org.apache.hadoop.hbase.zookeeper.HQuorumPeer.main(HQuorumPeer.java:70)
Caused by: java.io.IOException: Failed to process transaction type: 1 error: KeeperErrorCode = NoNode for /hbase
        at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:153)
        at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:223)
        at org.apache.zookeeper.server.quorum.QuorumPeer.loadDataBase(QuorumPeer.java:417)
        ... 4 more
Caused by: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase
        at org.apache.zookeeper.server.persistence.FileTxnSnapLog.processTransaction(FileTxnSnapLog.java:211)
        at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:151)
        ... 6 more

 

解决方案：

1. 建立一个hbase的临时目录，比如/home/hadoop/tmp；

2. 修改hbase-site.xml文件，将上述临时目录加入配置文件中：

<property>
    <name>hbase.tmp.dir</name>
    <value>/home/hadoop/tmp</value>
</property>

Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 3375
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
HBase连接异常处理：解决ZooKeeper连接问题
CyberXZ的博客
09-15 1981
在HBase中，ZooKeeper是一个关键的组件，用于协调和管理集群中的各个节点。当出现"org.apache.hadoop.hbase.ZooKeeperConnectionException"异常时，这意味着HBase无法建立与ZooKeeper的连接。通过本文，我们了解了如何处理HBase中的ZooKeeper连接异常。其次，我们应该仔细检查HBase的配置，确保与ZooKeeper的配置一致。检查HBase配置：检查HBase的配置文件，确保HBase正确配置了ZooKeeper的相关参数。
【HBase数据开发】zookeeper启动不了
大壮的博客
07-22 881
权限不够 Invalid config, exiting abnormally service/zookeeper/zkserver.sh: line Severe unrecoverable error, exiting java.io.FileNotFoundException: /var/lib/zookeeper/version-2/snapshot.0 (Permission denied) 等等问题，见招拆招好了。 看下报错日志 XX:OnOutOfMemoryErr..
springcloud项目集成zookeeper报Caused by: org.apache.zookeeper.KeeperException$UnimplementedException:
qq_35872777的博客
05-23 609
因eureka停更，导致项目要换注册中心，在springcloud整合zookeeper时报以下错误： Caused by: org.apache.zookeeper.KeeperException$UnimplementedException: KeeperErrorCode = Unimplemented for /services/cloud-provider-payment/12fd4595-f928-41f4-b9db-737153e1a42e at org.apache.zookeep...
Hadoop hbase zookeeper 启动失败 Hmaster 自动关闭
m0_68320297的博客
06-16 514
原来是虚拟机异常关机 导致 ,进程异常Starting zookeeper ... already running as process 1852. 导导致 slave1 和 slave2 zookeeper启动失败。所以我把 slave1 和 slave2 data(data文件是你的zoo.cfg dataDir的路径)下的zookeeper_server.pid 删除 成功解决问题。
hbase安装_HBase环境分布式搭建
weixin_39617702的博客
11-21 196
前面三个文档已经完成了基础环境的搭建《HBase基础环境搭建》《HBase基础环境搭建之Hadoop搭建》《HBase基础环境搭建之Hive和Sqoop安装》现在进入HBase的环境搭建环境工具解压tar -zxvf hbase-1.2.1-bin.tar.gz -C /opt/bigdata/环境工具解压缩tar -zxvf zookeeper-3.4.9.tar.gz -C /opt/bigd...
HBASE 找不到zookeeper节点
binyet的博客
07-04 3477
在Hbase的shell下，输入命令list，出现错误 ERROR: Can’t get master address from ZooKeeper; znode data == null
安装hbase后重启服务，发现zookeeper在某台机器上无法正常启动
进化的深山猿
04-20 1538
环境概要 hadoop2.5.2 HA JDK 1.6.0_45 zookeeper3.4.6 hbase 以前机器上安装了hadoop、zookeeper，hive，昨天装了hbase，装的时候可以正常启动的，没啥问题，但是今天重启机器的时候，发现我原本自装的zookeeper在某台主机上死活无法启动， 查看日志发现如下错误： 2016-04-20 02:04:50,704 [my
hive、hbase整合后，reduce过程总找不到zookeeper问题解决
vah101的专栏
01-24 4470
将hive、hbase整合后，利用hive对存储在hbase的表进行select操作，在进行map、reduce操作的时候，总会出现reduce运行到67%再就没有响应，然后通过web页面检查job的出错日志，发现显示找不到zookeeper的错误如下所示： 2014-01-22 20:18:25,653 INFO org.apache.zookeeper.ClientCnxn: Opening
解决hbase自带的zookeeper启动报错
浅汐
10-30 9100
执行hbase zkcli后报错信息如下： 15/10/02 15:17:55 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/opt/cloudera/parcels/CDH-5.4.5-1.cdh5.4.5.p0.7/lib/hadoop/lib/native 15/10/02 15:17:55 INFO zo
启动Hbase时其中一个节点连不上zookeeper问题解决（maxClientCnxns）
星月菩提的专栏
09-09 5527
安装hbase集群时，到启动集群时其中一个节点报错如下： 2016-09-09 15:32:57,749 INFO [main-SendThread(madwx31:2181)] [code="java"]zookeeper.ClientCnxn: Socket connection established to madwx31/192.168.32.31:2181, initiating s...
HBase启动失败？日志报错‘ZooKeeper connection timeout’解决方案大全
Agentic AI人工智能与大数据正在引领一场新智能科技革命。
09-18 1124
HBase启动时的ZooKeeper连接超时，指HBase Master/RegionServer的ZooKeeper Client在尝试与ZooKeeper Quorum建立Session时，超过了配置的时间，导致启动失败。典型日志或。
hbase 自带 zk 无法启动_基础篇Hbase集群搭建及基本操作
weixin_35348182的博客
12-01 921
要搭建Hbase集群模式必须先安装zookeeper.参考：基础篇-Zookeeper本文主要从以下方面展开。下载 (略)解压 (略)配置启停基本操作一、配置0、环境变量export ZK_HOME=/opt/liupuxiang/install/zookeeper-3.4.12export HADOOP_HOME=/opt/liupuxiang/install/hadoop-2.7...
hbase伪分布 自带zookeeper 报错org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
weixin_53359823的博客
09-20 745
查找网上的教程，删除hbase在conf下的hbase-site.xml，里面的rootdir删除。所以我们需要找到hbase自带的zookeeper的文件放在哪里？zookeeper的数据存放地方在/tmp/hbase-root/zookeeper。但是，我的hbase是伪分布安装，且依靠自带的zookeeper。把version都删除，然后重启hbase就可以了。然后zookeeper相关的hbase也删除。
Hadoop Zookeeper HBase 启动后进程
BerylFanZi的专栏
03-27 1579
1. 版本和配置 Hadoop 2.2.0， Zookeeper 3.4.6， HBase 0.98 6台机器，使用单独的Zookeeper，未使用HBase自带的。 2. 启动和关闭顺序 启动：Hadoop -> Zookeeper -> HBase 关闭：HBase ->Zookeeper -> Hadoop 3. 启动后进程（使用jps查看） (1) Hadoo
解决HBase分布式集群中zookeeper无法正常启动的问题
weixin_42209572的博客
05-06 4773
Hadoop集群用到的工具 版本号 节点名称 hadoop 2.7.1 Master hbase 1.4.7 Slave1 zookeeper 3.4.10 Slave2 Zookeeper下载：Apache官网上自行下载合适版本：https://zookeeper.apache.org/ Zookeeper简介 分布式协...
用java 操作 hbase ，zookeeper总是读取localhost 不读取配置的hbase.zookeeper.quorum
weixin_43467992的博客
12-15 3511
今天用Java操作HBASE时一直连接不上HBASE，发现连接的是localhost:2181 2018-12-15 15:29:03,643 INFO org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.() - Process identifier=hconnection-0x18bf3d14 connecting to ZooKee...
Hbase伪分布式搭建时HQuorumeer启动不成功
张茂祯的博客
04-18 7822
日志报错： localhost: running zookeeper, logging to /usr/local/hbase/bin/../logs/hbase-zhang-zookeeper-Daner.out localhost: java.io.IOException: Unable to create data dir /hbase/tmp/zookeeper localhost: a...
我在hadoop+zookeeper+hbase配置中出现的错误
Jackie_Rose的博客
01-14 3124
1、启动hbase时候报错 master: java.net.BindException: Address already in use master:         at sun.nio.ch.Net.bind(Native Method) master:         at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketCha
hbase内置的zookeeper怎么手动启动
最新发布
11-09
<think>我们正在讨论的是HBase内置ZooKeeper的手动启动方法。根据引用信息，特别是引用[2]和引用[3]提到了使用HBase内置的ZooKeeper的情况。 引用[2]提到在HBase集群搭建（全分布式）时使用HBase内置的ZooKeeper，并在配置中设置了相关参数，同时还创建了ZooKeeper的数据目录。 引用[3]则提到在单机版HBase中使用内置ZooKeeper时启动报错，并尝试手动启动ZooKeeper。 在HBase中，内置的ZooKeeper通常由HMaster启动时自动启动。但有时可能需要手动启动，比如自动启动失败或者需要单独调试。 手动启动HBase内置ZooKeeper的方法： 1. 进入HBase的安装目录下的bin目录。 2. 执行`hbase-daemon.sh start zookeeper`（或者使用`hbase zookeeper`命令，但注意参数）。 但是，在引用[3]中用户提到执行bin目录下的zookeeper时遇到了连接拒绝的错误，这可能是由于SSH配置问题（因为HBase启动内置ZooKeeper可能尝试通过SSH连接，但实际上内置ZooKeeper应该不需要SSH）。因此，我们需要确保使用正确的命令。 实际上，HBase内置的ZooKeeper可以通过HBase自带的脚本启动，而不需要单独启动ZooKeeper的进程（因为它是嵌入在HBase中的）。但是，如果确实需要手动启动，可以尝试以下步骤： 步骤： 1. 确保HBase已经正确配置，特别是hbase-site.xml中关于ZooKeeper的设置（如使用内置ZooKeeper，即没有配置外部的ZooKeeper集群）。 2. 停止HBase（如果已经运行）：`stop-hbase.sh` 3. 手动启动内置ZooKeeper：使用HBase的bin目录下的`hbase-daemon.sh`脚本启动ZooKeeper。 具体命令： ```bash cd $HBASE_HOME/bin ./hbase-daemon.sh start zookeeper ``` 注意：这个命令会启动一个独立的ZooKeeper进程，但它是HBase内置的，所以不会像外部ZooKeeper那样需要整个集群配置。它通常只用于单机或伪分布式模式，在生产环境中一般使用外部ZooKeeper集群。 引用[2]中还提到了需要创建ZooKeeper的数据目录，所以在启动前要确保配置的ZooKeeper数据目录（在hbase-site.xml中由`hbase.zookeeper.property.dataDir`指定）已经创建，并且有正确的权限。 另外，在引用[4]中提到了ZooKeeper连接不稳定的问题，可能是由于ZooKeeper节点数据过多导致请求过大，但手动启动方法本身不受这个影响。 因此，手动启动HBase内置ZooKeeper的步骤总结如下： 1. 确保HBase配置正确（使用内置ZooKeeper，即没有配置`hbase.zookeeper.quorum`指向外部集群，或者配置了`hbase.cluster.distributed`为true或false，根据模式而定）。 2. 创建ZooKeeper数据目录（如果不存在）并设置权限： ```bash mkdir -p /path/to/zookeeper/data # 根据配置创建目录 chown -R hbase:hbase /path/to/zookeeper/data # 确保hbase用户有权限 ``` 3. 使用`hbase-daemon.sh`脚本启动ZooKeeper： ```bash $HBASE_HOME/bin/hbase-daemon.sh start zookeeper ``` 4. 检查日志（在$HBASE_HOME/logs目录下）确认启动成功。 注意：在分布式模式下，通常不推荐手动启动内置ZooKeeper，因为内置ZooKeeper设计为单节点（或伪分布式），分布式模式下应该使用外部ZooKeeper集群。如果是在分布式模式下，每个节点都需要启动自己的ZooKeeper？实际上，HBase内置的ZooKeeper并不支持分布式部署（即集群模式），它仅用于单机或伪分布式模式。在真正的分布式集群中，应该使用外部的ZooKeeper集群。 所以，如果是在分布式HBase集群中，不应该使用内置ZooKeeper，而是配置外部ZooKeeper集群，并分别启动每个ZooKeeper节点（使用ZooKeeper自己的启动脚本）。 总结：手动启动HBase内置ZooKeeper的方法是在单机或伪分布式模式下使用`hbase-daemon.sh start zookeeper`命令。 相关问题： 1. 如何配置HBase使用外部ZooKeeper集群？ 2. HBase内置ZooKeeper和外部ZooKeeper集群有何区别？ 3. 在分布式HBase集群中，为什么推荐使用外部ZooKeeper？ 4. 如何排查HBase内置ZooKeeper启动失败的问题？ </think>### HBase内置ZooKeeper手动启动方法 根据引用内容，以下是HBase内置ZooKeeper手动启动的具体步骤和注意事项： #### 📌 手动启动步骤 1. **进入HBase目录** ```bash cd $HBASE_HOME/bin # 进入HBase安装目录的bin文件夹 ``` 2. **启动内置ZooKeeper** 使用专用脚本启动： ```bash ./hbase-daemon.sh start zookeeper # 启动内置ZK进程[^2] ``` 3. **验证启动状态** ```bash jps | grep ZooKeeperMain # 应显示进程 ``` #### 关键配置要求（引用[2][3]） 1. **必须创建数据目录** ```bash mkdir -p $HBASE_HOME/tmp/zookeeper/data # 创建ZK数据存储目录 chown -R hbase:hbase $HBASE_HOME/tmp # 设置正确权限 ``` 2. **配置文件要求** 在`hbase-site.xml`中确保包含： ```xml <property> <name>hbase.cluster.distributed</name> <value>true</value> <!-- 必须为true --> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/path/to/hbase/tmp/zookeeper/data</value> <!-- 匹配创建目录 --> </property> ``` #### 🔧 常见问题解决 1. **SSH连接问题**（引用[3]） 若报错`Connection refused`： ```bash ssh localhost # 测试SSH # 若失败，安装并配置SSH： sudo apt install openssh-server ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 2. **连接不稳定**（引用[4]） 在`hbase-site.xml`中添加： ```xml <property> <name>zookeeper.session.timeout</name> <value>180000</value> <!-- 延长会话超时 --> </property> ``` 3. **端口冲突检查** ```bash netstat -tuln | grep 2181 # 检查默认ZK端口占用 ``` #### 💡 最佳实践建议 1. **启动顺序** ```mermaid graph LR A[启动HDFS] --> B[手动启动内置ZK] B --> C[启动HMaster] C --> D[启动RegionServers] ``` 2. **日志检查** ```bash tail -f $HBASE_HOME/logs/hbase-*-zookeeper-*.log # 监控ZK日志 ``` 3. **停止命令** ```bash ./hbase-daemon.sh stop zookeeper # 安全停止ZK ``` > **重要提示**：生产环境建议使用独立ZooKeeper集群，内置ZK仅适用于测试环境[^2][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值