一个HBase客户端超时问题的排查

最新推荐文章于 2021-03-06 02:38:56 发布

bryceforphy

最新推荐文章于 2021-03-06 02:38:56 发布

阅读量1.1w

点赞数

CC 4.0 BY-SA版权

分类专栏： hbase 文章标签： hbase 超时源码

本文链接：https://blog.youkuaiyun.com/bryce123phy/article/details/51504585

本文记录了一次解决HBase客户端scan超时问题的过程。错误堆栈显示为ScannerTimeoutException，通过分析源码发现，超时发生在ClientScanner的loadcache方法。解决方案是增大hbase.client.scanner.timeout.period配置。深入思考，该超时机制可能是为了防止服务器雪崩问题，由于客户端消费速度与服务端生产速度不匹配可能导致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近处理了一个客户端scan超时问题，记录在此，希望能够帮助到遇到同样问题的同学。

问题的错误堆栈如下面所示：

java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 76745ms passed since the last invocation, timeout is currently set to 60000

at org.apache.hadoop.hbase.client.AbstractClientScanner$1.hasNext(AbstractClientScanner.java:97) ~[hbase-client-1.1.2.jar:1.1.2]

at com.mogujie.fulldump.task.HBaseUtil.scanTable(HBaseUtil.java:109) ~[fulldump-indexbuildingcomponent-1.0-SNAPSHOT.jar:na]

at com.mogujie.fulldump.task.HbaseScanner$Task.run(