hbase错误调试过程记录

最新推荐文章于 2024-03-17 17:47:49 发布

登峰大数据

最新推荐文章于 2024-03-17 17:47:49 发布

阅读量751

点赞数

本文详细解析了在使用Hadoop和HBase时遇到的问题，特别是启动后执行jps命令出现HMaster进程但进入HBase shell执行命令时出现错误的情况。问题本质为hdfs文件损坏导致的安全模式问题，提供了格式化namenode和修改各节点VERSION文件中clusterID的解决方案，以确保datanode的正常启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启动Hadoop和HBase之后，执行jps命令，有HMaster的进程，但是进入到HBase的shell，执行一个命令，会出现下面的错误：
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
表面上看是hdfs处于安全模式下造成的(hadoop dfsadmin -safemode leave 退出安全模式)，
本质上是hdfs文件损坏造成的，需要格式化namenode(命令：hadoop namenode -format)
格式化之后要做如下处理：

执行hadoop namenode -format命令，多次格式化namenode后datanode无法启动。
解决方法：
/data/hadoop/dfs/name/current/VERSION
用name下面的clusterID，修改datanode的/data/hadoop/dfs/data/current/VERSION里面的clusterID

每次格式化，name下面的VERSION的clusterID会产生一个新的ID，要去修改各个节点的VERSION的clusterID

……/dfs/data/current

storageID=DS-1959445666-10.161.138.100-50010-1386493413986
clusterID=CID-64a3a726-29e4-4d80-86a6-035ef33a225b
cTime=0
storageType=DATA_NODE
layoutVersion=-47

……/dfs/name/current/VERSION
#Fri Jan 03 10:37:48 CST 2014
namespaceID=1667984727
clusterID=CID-42c6d540-c3ca-44df-95e8-01a6d87effb5
cTime=0
storageType=NAME_NODE
blockpoolID=BP-220196921-10.161.138.100-1388716668863
layoutVersion=-47

如上，用name下面的clusterID，修改datanode的/data/hadoop/dfs/data/current/VERSION里面的clusterID。