Hbase连接之java.io.IOException: HRegionInfo was null or empty in Meta原因

本文探讨了在使用Hadoop MapReduce批量写入HBase时出现IOException的问题,详细分析了异常产生的原因,涉及HBase的Put操作及其触发的Flush、Compact和Split过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题描述:

Hadoop执行MR的时候批量写Hbase表从而引发了IOException,详情如下:

WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: 
java.io.IOException: HRegionInfo was null or empty in Meta for XX_TABLE, row=XX_TABLE,3285601788255##648560902425,99999999999999
	at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:170)
	at org.apache.hadoop.hbase.client.MetaScanner.access$000(MetaScanner.java:54)
	at org.apache.hadoop.hbase.client.MetaScanner$1.connect(MetaScanner.java:133)
	at org.apache.hadoop.hbase.client.MetaScanner$1.connect(MetaScanner.java:130)
	at org.apache.hadoop.hbase.client.HConnectionManager.execute(HConnectionManager.java:360)

产生问题原因:

在批量对Hbase执行Put操作的时候当Table达到指定的数量时会执行split,从而导致regionserver下线,因此读不到他的信息,从而触发异常。

Put操作一般会触发三大操作Flush,Compact和Split,当需要Flush的时候会进入Flush队列,执行Flush操作;当需要执行Compact操作的时候会进入Compact队列执行Compact;当需要Split的时候执行Split。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值