hbase中对deadserver处理的困扰

最新推荐文章于 2023-08-14 10:31:28 发布

koven2049

最新推荐文章于 2023-08-14 10:31:28 发布

阅读量874

点赞数

CC 4.0 BY-SA版权

分类专栏： hbase 文章标签： HBase Java Apache

本文链接：https://blog.youkuaiyun.com/koven2049/article/details/83873268

hbase 专栏收录该内容

33 篇文章

订阅专栏

探讨HBase中一个已知的问题：当RegionServer重启后，其在Master的DeadServer列表中不会被自动移除，这会导致显示的DeadServer数量不准确。文章介绍了这一现象的原因，并提及了一个补丁来解决此问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hbase在一个regionServer死掉后，即使重启了这个server，deadlist中也不会去掉原先死去的deadserver。
例如：

hbase shell
>status
5 servers, 0 dead, 6.2000 average load

停掉其中一个节点

hbase-daemon.sh stop regionserver

然后

hbase shell
>status
4 servers, 1 dead, 6.2000 average load

再立即重启该节点：

hbase-daemon.sh start regionserver

此时回到shell中

hbase shell
>status
5 servers, 1 dead, 6.2000 average load

根本原因是在ServerManager中处理时只有add而没有remove，当然deadlist值有一个上限由hbase.master.maxdeadservers决定，默认为100:

  public synchronized boolean add(String e) {
    this.numProcessing++;
    // Check to see if we are at capacity for dead servers
    if (deadServerList.size() == this.maxDeadServers) {
      deadServers.remove(deadServerList.remove(0));
    }
    deadServerList.add(e);
    return deadServers.add(e);
  }

这一点会对用户造成很大的困扰，因此前几天诞生了这个patch，预期在0.90.2中加上
https://issues.apache.org/jira/browse/HBASE-3580
注：这个patch没赶上0.90.2，己延期到0.90.3了