Troubleshooting: java.lang.RuntimeException: HMaster Aborted

最新推荐文章于 2022-09-25 19:34:22 发布
原创 最新推荐文章于 2022-09-25 19:34:22 发布 · 4.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #cloudera #HMaster #abort

本文介绍了解决Cloudera集群中HBase服务启动失败的问题，特别是当出现TableExistsException异常时的解决方法。文章提供了详细的错误日志及故障排查步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Trouble

When reinstall Cloudera cluster in the same group of nodes, you must delete the file locates at  /opt/cloudera/ from all nodes, or there will be following error when the  first run command try to start the HMaster instance: 

Master server abort: loaded coprocessors are: []

Unhandled exception. Starting shutdown.
org.apache.hadoop.hbase.TableExistsException: hbase:namespace
	at org.apache.hadoop.hbase.master.handler.CreateTableHandler.prepare(CreateTableHandler.java:120)
	at org.apache.hadoop.hbase.master.TableNamespaceManager.createNamespaceTable(TableNamespaceManager.java:230)
	at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:85)
	at org.apache.hadoop.hbase.master.HMaster.initNamespace(HMaster.java:1059)
	at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:920)
	at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:606)
	at java.lang.Thread.run(Thread.java:744)

Aborting

Stopping server on 60000

CatalogJanitor-sdc-r0-00:60000 exiting

RpcServer.handler=7,port=60000: exiting

Replication.RpcServer.handler=1,port=60000: exiting

RpcServer.handler=10,port=60000: exiting

RpcServer.handler=12,port=60000: exiting

Replication.RpcServer.handler=0,port=60000: exiting

RpcServer.handler=19,port=60000: exiting

RpcServer.handler=8,port=60000: exiting

RpcServer.handler=5,port=60000: exiting

RpcServer.handler=1,port=60000: exiting

RpcServer.handler=23,port=60000: exiting

RpcServer.listener,port=60000: stopping

Replication.RpcServer.handler=2,port=60000: exiting

RpcServer.handler=16,port=60000: exiting

RpcServer.handler=6,port=60000: exiting

RpcServer.handler=3,port=60000: exiting

sdc-r0-00,60000,1403595631803-BalancerChore exiting

sdc-r0-00,60000,1403595631803-ClusterStatusChore exiting

RpcServer.handler=17,port=60000: exiting

RpcServer.handler=14,port=60000: exiting

RpcServer.handler=13,port=60000: exiting

RpcServer.handler=21,port=60000: exiting

RpcServer.handler=24,port=60000: exiting

RpcServer.responder: stopped

master:sdc-r0-00:60000.archivedHFileCleaner exiting

master:sdc-r0-00:60000.oldLogCleaner exiting

RpcServer.handler=18,port=60000: exiting

Stopping infoServer

RpcServer.handler=11,port=60000: exiting

RpcServer.handler=15,port=60000: exiting

RpcServer.handler=9,port=60000: exiting

RpcServer.handler=20,port=60000: exiting

RpcServer.handler=2,port=60000: exiting

RpcServer.handler=22,port=60000: exiting

RpcServer.handler=0,port=60000: exiting

RpcServer.handler=4,port=60000: exiting

Stopping replicationLogCleaner-0x246cc103e39101f, quorum=sdc-r0-01:2181,sdc-r0-00:2181,sdc-r0-02:2181, baseZNode=/hbase

RpcServer.responder: stopping

Stopped SelectChannelConnector@0.0.0.0:60010

Session: 0x246cc103e39101f closed

EventThread shut down

Closing zookeeper sessionid=0x346cc103e561088

Session: 0x346cc103e561088 closed

EventThread shut down

sdc-r0-00,60000,1403595631803.splitLogManagerTimeoutMonitor exiting

Session: 0x246cc103e39101e closed

EventThread shut down

HMaster main thread exiting

Master exiting
java.lang.RuntimeException: HMaster Aborted
	at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:192)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:134)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126)
	at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2789)

Troubleshooting

Run the following commands from from one of the servers running an HBase service to do the troubleshooting[1]:

hbasezkcli #enter the ZooKeeper CLI

rmr/hbase #to remove the znode

[1] https://community.cloudera.com/t5/Storage-Random-Access-HDFS/HMaster-not-starting-TableExistsException/td-p/11466

freeswitch报错 Reason: Q.850；cause=88；text=“INCOMPATIBLE_DESTINATION“
宝安小雨
01-19 990
fs报错 Reason: Q.850;
TroubleShooting--Error response from daemon: Get ... proxyconnect tcp: dial tcp ...
酱园里一鸭鸭の笔记
04-25 1155
搞定dockerhub上的镜像后，想拉新打的镜像，结果怎么都不行。后来用一年前自己包的hello,依然不行。记忆中应该是正常的。 [root@test /]# docker pull yllanzi/hello Using default tag: latest Error response from daemon: Get https://registry-1.docker.io/v2/: pr...
HBASE的hmaster报java.lang.RuntimeException: HMaster Aborted
小曼的博客
03-26 6198
bin/start-hbase.sh启动后，Hregionserver启动正常，Hmaster启动之后又自动关闭。 我的情况： 三台虚拟机，需要在1和2上启动hmaster，1、2、3上启动hregionserver。 首先保证zookeeper，HDFS正常。 1.删除zookeeper中hase缓存 链接zookeeper： 删除缓存： 2、查看HDFS状态 错误中有...
启动hbase时出现HMaster Aborted错误
weixin_33769207的博客
06-11 1611
启动hbase时出现 java.lang.RuntimeException: HMaster Aborted          at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:194)          at org.apache.hadoop.hbase.mas...
HBase——HMaster启动之二(HMaster线程的调用)
weixin_30613433的博客
11-17 363
　　紧接着上一节HMaster的构建完成。接下来会调用HMaster调用master.start(),master.join()。 　　由HMaster的继承关系，很明显，他是Runnable的子类。也就是说，在调用其start方法时，run方法被调用。 　　下面，让我们来到HMaster.run方法。这里的涉及到多线程编程。一方面HMaster所在线程调用了super.run方...
解决HBase中HMaster闪退问题Master exiting java.lang.RuntimeException: HMaster Aborted
weixin_43719616的博客
08-26 3811
查看日志发现报错如下，这是第二次遇到了，所以必须记下来了。 问题原因:hadoop的core-site.xml和hbase的hbase-site.xml中的hdfs的路径不匹配。 解决方法： 1.进入hadoop的core-site.xml cd /opt/module/hadoop-3.2.2/etc/hadoop/ vim core-site.xml 2.进入hbase的hbase-site.xml cd /opt/module/hbase-1.7.1/conf vim hbase-site.
hbase启动马上挂掉，端口报错500，Hmaster ABORTED
Ennis_Tongji的博客
08-26 1499
【报错1】：java.lang.RuntimeException: HMaster Aborted at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:261) at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:149) at org.apache.hadoop.util.
pycharm中报错：java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 1 path $ See https://github.com/google/gson/blob/main/Troubleshooting.md#unexpected-json-structure
03-23
当在PyCharm环境中使用Gson库进行JSON字符串解析时，如果遇到`java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column X path $...`错误，这通常表明JSON数据结构与期望的数据...
Ubuntu 22.04 源码安装 openssl 1.1 error while loading shared libraries: libssl.so.1.1: cannot open share
qq_43666528的博客
09-25 8859
Ubuntu 22.04 出现 libssl.so.1.1: cannot open shared object file Ubuntu 源码安装 openssl 1.1
使用Jmail及Winwebmail发信时系统记录中的错误：502 Error: command ...
10-01
SMTP Errors and Troubleshooting in Jmail and WinWebMail 在使用 Jmail 和 WinWebMail 发信时，系统记录中的错误是非常常见的。其中一个常见的错误是 502 Error: command not implemented。这个错误通常是由于 ...
ERROR [main] master.HMasterCommandLine: Master exiting java.lang.RuntimeException: HMaster Aborted
m0_46565121的博客
06-12 5184
启动hbase时HMaster服务掉线，抛出如下异常java.lang.RuntimeException: HMaster Aborted
黑猴子的家：HBase 之 java.lang.RuntimeException: HRegionServer Aborted
黑猴子的博客
10-22 984
1、思想 （1）先查看hbase.log 日志，找出问题，不知道什么问题，又如何解决呢？？ （2）这里 以 java.lang.RuntimeException: HRegionServer Aborted 问题 是由 服务器时间不同步引起的 2、查看hbase log 日志 [victor@hadoop102 hbase]# tail -F log/hbase-regionserver....
java.lang.RuntimeException: HRegionServer Aborted
徐雄辉笔记
12-04 463
date 1 配置时间服务器 1.检查时区 $ date -R 1 +0800东八区区时 2.检查软件包 如果ntp工具不存在，则需要使用yum安装 $ sudo rpm -qa | grep ntp 1 如果不存在则安装 $ sudo yum -y install ntp 1 3.先以网络时间为标准，纠正集群的时间服务器的时间 $ sudo ntpdate pool.ntp.org 1 ...
Hadoop重启，Hbase出现Master exiting的错误：org.apache.hadoop.hbase.master.HMasterCommandLine: Master exiting
热门推荐
木易的专栏
05-11 1万+
hadoop hdfs 重新启动或者重新格式话，可能会出现一些数据丢失 清理hbase缓存数据 hbase启动出现错误：2016-05-11 10:01:23,124 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Master exiting java.lang.Run
linux中使用hbase出现 Failed to start master java.lang.RuntimeException: HMaster Aborted
想吃点好好好才
04-11 3850
org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master java.lang.RuntimeException: HMaster Aborted at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandL
Hbase安装报错：error: KeeperErrorCode = NoNode for /hbase/master；Master exiting；HMaster Aborted；
gulugulu_gulu的博客
04-24 3429
现象和问题： 安装部署hbase2.2.4, master进程一起来就挂掉。 hbase shell 中list命令报以下错误 error: KeeperErrorCode = NoNode for /hbase/master 查看master日志报错信息： 2020-04-24 09:26:28,501 ERROR [master/dockerapache-02:16000:becomeAct...
ERROR [main] master.HMasterCommandLine Master exiting
weixin_30675967的博客
05-18 4399
2018-05-18 07:07:26,257 INFO [main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/0:0:0:0:0:0:0:1%1:2181. Will not attempt to authenticate using SASL ...
hbase 报错 ERROR [main] master.HMasterCommandLine: Master exiting
一名数据库爱好者的专栏
08-24 6560
os: centos 7.6.1810 db: hbase 2.3.x hadoop 2.10.x zookeeper 3.6 jdk 1.8 NoNode for /hbase/master [hbase@hb1 conf]$ hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hadoop-2.10.1/share/hadoop/c
master.HMasterCommandLine: Master exiting
jinYwuM的博客
08-27 9823
2018-08-20 00:59:33,382 ERROR [main] master.HMasterCommandLine: Master exiting java.io.IOException: Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (...
dremio 启动报错 Suppressed: java.lang.IllegalStateException: #start was not invoked, so metadataManager is not available
最新发布
06-07
<think>嗯，用户这次遇到了Dremio启动时的IllegalStateException错误，报错信息很明确指向metadataManager初始化问题。这属于分布式系统启动过程中的典型故障，可能由多种原因导致。用户应该是在生产环境部署时遇到这个问题，情绪上可能比较着急，因为启动失败会直接影响服务可用性。从技术角度看，这个错误的核心在于Dremio的元数据管理器未能正确初始化。结合Dremio的架构原理，元数据管理需要依赖ZooKeeper的协调服务，因此首先需要排除ZK连接问题。用户可能已经尝试过重启但无效，所以需要更深入的排查方案。考虑到用户的上一个问题也是关于Dremio的部署，ta可能是系统管理员或数据平台工程师。这类用户通常需要明确的排查路径和可执行命令，所以我给出了分步骤的解决方案：从ZK状态检查到存储路径清除再到升级补丁。特别是清理ZK存储路径这个操作，在社区解决方案中被证实有效[^1]，但需要提醒用户操作风险。有趣的是，这个错误和RESTAPI端口冲突也有关联，这是容易忽略的点。我在最后特意补充了端口冲突排查，因为Dremio社区曾有用例显示2181端口冲突会导致类似的元数据初始化失败[^2]。文档引用的部分特别重要，我引用了官网两个关键文档链接[^1][^2]，这样用户可以直接查看官方解决方案。考虑到企业用户对稳定性的要求，升级建议也特别标注了最新稳定版本号(当前是24.2.0)[^3]。相关问题设计成递进式：从直接解决方案(清存储/升级)→深层问题分析(OOM)→部署建议，这样无论用户想快速解决还是深度排查都能找到切入点。其中内存溢出(OOM)的扩展问题很有必要，因为当ZK节点过多时确实可能出现JVM内存不足导致元数据加载失败。</think> Dremio启动时抛出`java.lang.IllegalStateException: #start was not invoked, so metadataManager is not available`错误的完整解决方案如下： ### 原因分析 该错误表明**Dremio的元数据管理器（Metadata Manager）未能正确初始化**，通常由以下原因导致： 1. **ZooKeeper连接失败**：Dremio依赖ZooKeeper协调集群状态，ZK连接异常会导致元数据无法加载[^1] 2. **ZK存储数据损坏**：`$DREMIO_HOME/data/metadata`或ZK节点数据异常 3. **版本升级遗留问题**：旧版本残留文件与新版本冲突 4. **端口冲突**：ZK服务端口（默认2181）被占用 --- ### 分步解决方案 #### 1️⃣ 检查ZooKeeper服务状态 ```bash # 查看ZK服务状态（Dremio内嵌ZK默认端口2181） nc -zv localhost 2181 telnet localhost 2181 ``` ✅ **正常响应**：显示`Connected to localhost` ❌ **无响应**：需重启Dremio内嵌ZK或修复配置 --- #### 2️⃣ 清除损坏的元数据（关键步骤） ```bash # 停止Dremio服务 sudo service dremio stop # 备份并清除元数据存储 mv $DREMIO_HOME/data/metadata $DREMIO_HOME/data/metadata.bak mkdir $DREMIO_HOME/data/metadata # 清除ZK数据（危险操作！先确认无其他服务依赖此ZK集群） $DREMIO_HOME/bin/zk clean -f ``` ❗ 注意：此操作会**重置集群元数据**，但不会删除物理数据集 --- #### 3️⃣ 修复配置文件 检查`$DREMIO_HOME/conf/dremio.conf`： ```ini # 确保ZK路径配置正确 zookeeper: "localhost:2181" services.coordinator.embrace.zookeeper.enabled = true # 必须为true ``` --- #### 4️⃣ 升级到稳定版本 ```bash # 下载最新稳定版（截至2024年7月推荐24.2.0） wget https://download.dremio.com/community-server/24.2.0/dremio-24.2.0-202406281145110726.tar.gz tar -xzvf dremio-*.tar.gz sudo ./dremio/bin/dremio upgrade ``` --- #### 5️⃣ 排查端口冲突 ```bash # 检查2181端口占用 sudo lsof -i :2181 # 强制释放端口（谨慎操作） sudo kill -9 <PID> ``` --- ### 问题复盘建议 1. 首次启动失败时立即检查`$DREMIO_HOME/logs/server.log` 2. 错误日志中搜索`NoNode for /dremio`或`Session expired`确认ZK问题 3. 集群部署时确保所有节点的系统时间同步（NTP服务） --- ### 相关文档 [^1]: [Dremio元数据管理架构](https://docs.dremio.com/advanced/adminguide/metadata-management.html) [^2]: [ZooKeeper故障排除指南](https://docs.dremio.com/troubleshooting/coordinator-zk-errors.html) [^3]: [Dremio升级注意事项](https://docs.dremio.com/upgrade/upgrade-guide.html) ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值