HBase中的LeaseException异常问题

最新推荐文章于 2022-09-08 11:25:36 发布

原创最新推荐文章于 2022-09-08 11:25:36 发布 · 4.6k 阅读

3 ·

CC 4.0 BY-SA版权

HBase分布式存储系统专栏收录该内容

7 篇文章

订阅专栏

本文详细阐述了在HBase批量扫描操作中遇到的租约失效错误及其原因，解释了租约机制的工作原理，并提供了解决方案。包括调整配置文件中的hbase.regionserver.lease.period和hbase.rpc.timeout参数，以防止租约过期导致的数据获取失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近的工作中，有个对hbase的批量scan处理，HBase regionserver的log中出现了如下错误:

org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8841369309248784313' does not exist
at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)
at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)
at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at jva.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)
at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)

这应该是客户端与regionserver之间交互的“租约”失效的问题。所谓租约，是指hbase client端每次和regionserver交互的时候，都会在服务器端生成一个租约（Lease),租约的有效期由参数hbase.regionserver.lease.period确定，默认的租约有效时间是60000ms，一分钟。

那么scan操作过程中，

客户端去regionserver取数据的时候，hbase中存得数据量很大并且很多region的时候的，客户端请求的region不在内存中，或是没有被cache住，需要从磁盘中加载，如果这时候加载需要的时间超过hbase.regionserver.lease.period所配置的时间，并且客户端没有和regionserver报告其还活着，那么regionserver就会认为本次租约已经过期，并从LeaseQueue中从删除掉本次租约，当regionserver加载完成后，拿已经被删除的租约再去取数据的时候，就会出现如上的错误现象。

一般的做法，就是在配置文件中增大hbase.regionserver.lease.period的时间，但也不能忽略rpc连接的超时问题，所以在增大hbase.regionserver.lease.period的时候应该同时增大hbase.rpc.timeout，同时hbase.rpc.timeout应该等于或大于hbase.regionserver.lease.period。