记一次HBase启动异常的恢复历程

原创 已于 2022-09-08 11:29:26 修改 · 2.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #hadoop #大数据

于 2022-09-08 11:25:36 首次发布

昨天碰到一个客户的测试环境HBase启动异常，表面的现象是从CDH界面里面看不到HMaster的主备状态，显示Master一直处于初始化的状态，通过hbcheck命令执行返回错误信息为：org.apache.haoop.hbase.PleaseHoldException: Master is initializing…

由于是HMaster异常，所以先到/var/log/hbase目录下查看Master的日志，报错如下所示：
在这里插入图片描述
错误信息：Reported time is too far out of sync with master，说明时钟同步出现问题，于是检查每个节点的时钟同步情况，发现当前的时钟同步是正常的。怀疑是这个环境之前是不是发生过比较严重的时钟问题，比如突然修改了系统时钟或时区，导致节点上突然发生了很大的时间更改。
但不管怎么样，我们还是先看看如何解决这个问题吧~
在这里插入图片描述
于是又继续查看日志（如上图），发现日志中报大量WARN信息：Found a log (hdfs://nameservice1/hbase/oldWALs/xxx) new than current time, probably a clock skew。通过"Found a log"此关键搜索了一下所有Master日志文件，日志都指向是oldWALs下面的文件。
于是去检查hbase下面的oldWALs这个路径，发现这个目录的时间确实相差很大。从以下截图可以看到，/hbase/oldWALs目录的时间居然是2025-07-09，还有/hbase/MasterProcWALs和/hbase/WALs目录。这说明这个环境确实在时钟上发生了巨大的变化。

hadoop fs -ls /hbase

在这里插入图片描述

由于oldWAL文件是可以被删除的，因为当时决定删除oldWALs下面的所有日志并尝试重启HBase。（当时没有仔细看每个目录的时间，只是根据日志提示认为oldWALs目录有问题，所以没有想起来删除/hbase/MasterProcWALs和/hbase/WALs目录下面的东西）


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
HBase中wal文件过多导致Zookeeper异常问题

				
			

			

				

					Xlucas的博客
				

				

					12-04
					
					2057
					
				

			

		

		

			
				
最近hbase出现了大量KeeperErrorCode = ConnectionLoss for /hbase/splitWAL 异常，而且在重启hbase的时候，没有办法启动hbase，经过仔细诊断之后发现是由于hbase的WAL文件非常多（达到30TB），导致hbase在zk的节点（存储WAL文件信息的节点）超过4096*1024 默认大小，无法正常提供服务。因此，hbase master无法...

			
		

	



                

            
              



	

		

			

				
					
记一次服务器异常掉电，导致HBase Master is initializing 问题处理

				
			

			

				

					DraGon_HooRay的博客
				

				

					06-22
					
					1690
					
				

			

		

		

			
				
服务器掉电后重启服务器，并重启Hadoop、Zookeeper、HBase服务后，进程均一切正常，但是在HBase Web界面查看不到一张表，包括元数据表。使用 shell 命令扫描数据表提示表不存在错误。看下Master的日志，发现一条WARN日志：
hbase:namespace,,1602737534746.41cb240b37c7ba2e67a1bff035799b61. is NOT online; state={41cb240b37c7ba2e67a1bff035799b61 state=OPE

			
		

	



              


  
              

                


	

		

			

				
					
HBase启动报错“Master is initializing”解决方案

				
			

			

				

					sjb2274540432的博客
				

				

					09-14
					
					753
					
				

			

		

		

			
				
Hadoop 和 Zookeeper 的数据目录中存在残留数据（脏数据），导致 HBase 启动时初始化失败。需要清理 HDFS 的。提示 Master 正在初始化，无法正常操作。Hbase 可以启动，但无法进行任何操作。在 HBase shell 执行。目录和 Zookeeper 的。确保 Zookeeper 已启动。节点，并重新初始化相关服务。

			
		

	





	

		

			

				
					
记一次 mapreduce 加载HFile文件到HBase中

				
			

			

				

					枪枪枪的博客
				

				

					06-30
					
					1087
					
				

			

		

		

			
				
code:
编译打包后放到服务器上用java -classpath XXX.jar XXX.BulkLoadDataToHBase /path outPutTabel运行程序前需要先在HBase中建好表
此时运行会出现报错
错误原因是程序运行时无法找到libsnappy.so.*相关的文件，检查了一遍程序中打包的依赖,发现可以找到对应的类

在google上搜索了后发现，有人建议在运行jar时添加-Djava.library.path=/XXX/hadoop/native/选项后，解决了问题。于是在服务器上

			
		

	



		

			
		



	

		

			

				
					
hbase启动出错

				
			

			

				

					恨_别离的博客
				

				

					07-11
					
					603
					
				

			

		

		

			
				
启动hbase后无法访问进入shell端出现如下错误。清理一下hbase即可。

			
		

	





	

		

			

				
					
HBase无法启动的相关问题

				
			

			

				

					算法与编程之美
				

				

					05-17
					
					903
					
				

			

		

		

			
				
1 问题VMWare下centos7在下载好HBase并解压配置环境后运行jps后缺少HMaster在确定安装和环境配置上没问题后开始逐渐查找问题2 方法开始排查后发现是hbase-site.xml文件里的配置有问题。Hbase.cluster.distributed标签设置是否是分布式安装，我安装采用的是伪分布式安装，那参数的值应该为true，而hbase.unsafe.stream.capab...

			
		

	





	

		

			

				
					
Hbase是什么？

				
			

			

				

					weixin_43576422的博客
				

				

					08-09
					
					1655
					
				

			

		

		

			
				
HBase 是一个开源的、分布式、版本化、高可靠、高性能、面向列、可伸缩的NoSQL 数据库（也即非关系型数据库），它利用 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）提供分布式数据存储。

与传统的关系型数据库类似，HBase 也以表的形式组织数据，表也由行和列组成；不同的是，HBase 有列族的概念，它将一列或者多列组织在一起，HBase 的每一个列都必须属于某个列族。但HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另

			
		

	





	

		

			

				
					
HBase工作原理

				
			

			

				

					huahuaxiaoshao的博客
				

				

					04-23
					
					995
					
				

			

		

		

			
				
1 HBase概述
（1）HBase的定义
      HBase：Hadoop Database，是一个高可靠、高性能、面向列、可伸缩、实时读写的分布式数据库。利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。
      ① 高可靠：数据高可靠性：HB...

			
		

	





	

		

			

				
					
HBase读写流程

				
			

			

				

					ThreeAspects的博客
				

				

					02-08
					
					636
					
				

			

		

		

			
				
HBase读写流程HBase 写流程HBase读流程
HBase 写流程
  插入一条数据到某个表，因为HBase通过ZooKeeper协调，Client 首先连接ZooKeeper，从ZooKeeper中获取表region相关信息。根据要插入的rowkey，获取指定的RegionServer信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。
  当得到了需要...

			
		

	





	

		

			

				
					
HBase核心进程及HBase实现原理

				
			

			

				

					qq_40612384的博客
				

				

					02-19
					
					883
					
				

			

		

		

			
				
什么是Hbase
Hbase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价的PC Server上搭建大规模结构化存储集群。
利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 Hbase中的海量数据,利用Zookeeper作为其分布式协同服务
主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）
Hbase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，Hbase

			
		

	





	

		

			

				
					
hbase 启动失败的解决办法

				
			

			

				

					weixin_52136304的博客
				

				

					05-28
					
					3858
					
				

			

		

		

			
				
常见的hbase启动失败问题的解决办法

			
		

	





	

		

			

				
					
Hbase启动失败解决方案积累

				
			

			

				

					weixin_42981609的博客
				

				

					01-01
					
					2300
					
				

			

		

		

			
				
原文链接：https://blog.youkuaiyun.com/SL_World/article/details/84952725
原文中介绍了几种常见问题，我也遇到过，亲测方法有效，下面再记录一个自己遇到的问题
日志如下：

遇到这样的问题，很明显，是Hadoop版本过高，导致此Jar包内的方法被淘汰（我电脑环境是Hadoop3.x，而Hbase是1.5.0）。故，我们只需要替换下图所示目录的common...

			
		

	





	

		

			

				
					
Hadoop安装Hbase启动失败报错解决方法

					
热门推荐

				
			

			

				

					master_hunter的博客
				

				

					09-28
					
					1万+
					
				

			

		

		

			
				
前言

本篇文章结合多篇博客文章解决方案具体汇总，方便遇到问题以后好解决问题。

本人大数据专业初入大三刚刚接触并开始学习Nosql数据库原理，当然初入一些算法和原理还不是很熟练掌握，有待提升自己的编程结合能力。在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。

先进入hbase文件目录里看日志文件看看报什么错再具体解决：


vi /usr/local/hbase/logs/hbase-hadoop-master-hadoop.log


1.报错or

			
		

	





	

		

			

				
					
Hbase HA（2.2.3） 启动失败

				
			

			

				

					cyb2473541293的博客
				

				

					12-06
					
					543
					
				

			

		

		

			
				
hbase 

			
		

	





	

		

			

				
					
Hbase启动失败

				
			

			

				

					aryoyo的博客
				

				

					07-16
					
					1万+
					
				

			

		

		

			
				
环境：hadoop  2.6.5
           habse    1.2.6.1  ----测试为单机伪分布式部署
           redhat 6.4 64bit

1.配置文件


<HBASE_HOME>/conf/hbase-env.sh
  export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64
  ----...

			
		

	





	

		

			

				
					
HBase启动失败

				
			

			

				

					chj5213的博客
				

				

					08-15
					
					974
					
				

			

		

		

			
				
如果在hbase的shell中输入了status报错， 
hbase(main):001:0> status

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running...

			
		

	





	

		

			

				
					
hbase 启动失败，Please check the config value of 'hbase.procedure.store.wal.use.hsync'

				
			

			

				

					松林羊的博客
				

				

					01-08
					
					2656
					
				

			

		

		

			
				
phoenix 连接 hbase的坑

环境：


JDK1.8
Hadoop 2.7.1
Zookeeper 3.4.6
Hbase 2.0.0
Apache Phoenix-5.0.0-Hbase-2.0.0

从hadoop到hbase的环境搭建一切正常，可直接参照网上教程，这里不累述。
这里记录一下我在配置phoenix连接hbase的时候遇到的问题。
直观的看是HMaster一直启动不起...

			
		

	





	

		

			

				
					
HBase启动错误

				
			

			

				

					小萌猿的博客
				

				

					04-06
					
					2973
					
				

			

		

		

			
				
HBase集群：node1,node6,node7,node8 
node1和node8是master，其中node8是backup,四台机器都是RegionServer，但是启动后通过Web页面只能查看到两台RegionServer：node1和node8 
 
查看node6的日志：hbase-root-regionserver-node6.log，发现： 
 
发现错因：机器之间的时间差异超...

			
		

	





	

		

			

				
					
hbase启动错误

				
			

			

				

					weixin_y18485705761的博客
				

				

					05-04
					
					1589
					
				

			

		

		

			
				
从日志来看，HBase的RegionServer（在这里也被错误地标记为Master，尽管从日志内容来看它实际上是RegionServer）和（可能是）Master服务正在正常关闭。用户尝试写入 HDFS 的根目录但没有足够的权限，因此 HBase Master 进程无法继续运行，并启动了关闭流程。将其用户与用户组修改为hadoop的用户与用户组，之后我们启动hbase，并打开WEBUI界面，我们可以看到正常打开了。用户权限过高，可能引发安全问题），你可以使用 Hadoop 的。，并且具有唯一的会话ID。

			
		

	





	

		

			

				
					
hbase第一次启动要多长时间

					
最新发布

				
			

			

				

					09-20
				

			

		

		

			
				
<think>
嗯...用户这次问的是HBase第一次启动的具体耗时。这个问题其实挺专业的，说明用户可能在搭建HBase环境时遇到了实际困扰。

用户提供的四个引用素材里，引用[4]提到了完全分布式搭建流程，但没具体说启动时间；引用[2]倒是提到WAL文件的TTL默认是10分钟，但这属于启动后的配置参数。看来需要结合HBase的启动机制来解释。

HBase首次启动确实比后续启动慢很多，主要卡在三个地方：首先是ZooKeeper注册元数据，尤其是新建集群时；其次是HMaster初始化命名空间和系统表；最后是RegionServer加载region的冷启动过程。分布式环境下网络通讯和磁盘IO会成为瓶颈。

用户没说明是单机还是集群部署，不过从问题性质看大概率是集群。实测中，一个三节点集群首次启动可能耗时2-5分钟，具体取决于硬件配置。可以建议用户用hbase-daemon.sh启动日志观察时间戳，或者检查master日志里的"Master has completed initialization"关键节点。

突然想到用户可能是开发测试场景，如果只是本地伪集群的话，首次启动1分钟左右也算正常。不过最好提醒用户注意超时问题——如果超过10分钟还没起来，那肯定是出错了，需要检查防火墙或资源冲突。
</think>
HBase 第一次启动所需的时间**没有固定值**，它高度依赖于以下因素，通常范围在**几十秒到十几分钟不等**：

1.  **集群规模与配置**：
    *   **节点数量**：集群规模越大（RegionServers 越多），启动协调过程越长。
    *   **硬件性能**：CPU、内存、磁盘I/O（特别是SSD vs HDD）速度直接影响启动各阶段的执行速度。
    *   **网络状况**：节点间通讯速度对启动协调至关重要。

2.  **HBase 自身初始化流程**：
    *   **ZooKeeper 会话建立**：HBase Master 和 RegionServers 需要先连接到 ZooKeeper 集群并建立会话。
    *   **HMaster 选举与激活**：首次启动或没有活跃 Master 时，需要选出主 Master 并激活。
    *   **HBase 系统表初始化**：Master 需要初始化 `hbase:meta` 系统表（存储所有用户表的 Region 信息），这是关键步骤。首次启动时需要创建这些表。
    *   **RegionServers 注册与 Region 分配**：
        *   RegionServers 启动后向 Master 注册。
        *   Master 将系统表（`hbase:namespace`, `hbase:meta`）的 Region 分配给 RegionServers。
        *   `hbase:meta` 表上线后，才能处理用户表的 Region 分配。
    *   **WAL (Write-Ahead Log) 初始化**：每个 RegionServer 需要为自己的 Region 初始化 WAL 文件和相关处理器（如 Replication 相关的，参见引用[2]中的备份机制）。
    *   **Region 上线**：分配到 Region 的 RegionServers 需要打开这些 Region（加载必要的资源）。

3.  **数据量与表结构**：
    *   **系统表数据量**：首次启动时系统表是空的，初始化较快。如果已有大量用户表或快照信息存储在系统表中，初始化会慢些。
    *   **用户表 Region 数量**：如果启动时已有用户表，且 Region 数量非常多，Master 分配 Region 和 RegionServers 打开 Region 的过程会显著延长启动时间。

4.  **并发与资源竞争**：
    *   多个 RegionServers 同时启动、向 Master 注册、请求分配 Region 时，如果 Master 或 ZooKeeper 负载过高，或集群资源（CPU、网络带宽）紧张，会拖慢整体启动速度。

**总结与估计**：

*   **小型测试集群（1 Master, 1-2 RegionServers, 本地磁盘/SATA SSD）**：首次启动通常在 **1-3分钟** 内完成。
*   **中型生产集群（多 RegionServers, 较好硬件/SAS SSD或NVMe）**：首次启动可能在 **3-10分钟** 左右。
*   **大型集群（数十或上百 RegionServers, 大量预分区的表）**：首次启动可能需要 **10分钟以上甚至更久**。

**如何获取实际启动时间？**

1.  **查看 Master 日志 (`hbase-master-<hostname>.log`)**：
    *   搜索 `Master startup took XXXXms` 或类似的关键字。这是最准确的指标，它记录了从 Master 进程开始到完成初始化（包括必要的系统表操作）所耗费的时间。
    *   关注日志中关于初始化 `hbase:meta`、分配 Regions 等关键步骤的时间戳。
2.  **观察 Shell/Web UI**：
    *   在 `hbase shell` 中执行 `status` 命令，直到看到所有 RegionServers 都列出来并且状态正常。
    *   访问 Master 的 Web UI (默认端口 16010)，观察 RegionServers 列表是否完整，`hbase:meta` 表是否在线。

**引用说明**：
*   引用[2]提到的 WAL 生命周期管理和 Replication 机制，在 RegionServer 启动过程中涉及 WAL 处理器的初始化，这对启动时间也有一定影响，尤其是在配置了 Replication 且源集群日志积累较多时（虽然首次启动通常无此问题）[^2]。

**相关问题**：
1.  HBase 启动过程主要包含哪些关键阶段？每个阶段耗时的影响因素是什么？
2.  如何优化 HBase 集群的启动速度？（例如配置调整、硬件选型）
3.  监控 HBase 启动状态有哪些有效的方法？除了日志，还有哪些关键指标？
4.  HBase Master 和 RegionServer 的启动流程有什么不同？哪个通常更耗时？
5.  ZooKeeper 的性能和配置对 HBase 启动时间有多大影响？如何排查相关瓶颈？

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
数据源的港湾

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值