HBase中Lease创建、失效、及常见问题

最新推荐文章于 2021-11-20 00:12:03 发布

原创

最新推荐文章于 2021-11-20 00:12:03 发布 · 1.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #java #Hadoop

本文介绍了HBase中租约的初始化、创建与失效过程。在HBase的HRegionServer中，租约用于控制scanner操作时间，过期时间为60秒，检查间隔为10秒。当租约失效时， scanner会从内存中删除并关闭。遇到租约失效错误，可能因客户端未关闭scanner，此时在next操作中会尝试重新生成租约。解决此类问题，需确保hbase.rpc.timeout大于等于hbase.regionserver.lease.period，并检查scanner是否已关闭。

HBase通过租约来控制每个scanner的操作时间。

[b]1. 租约线程初始化：[/b]
HRegionServer的run方法会调用一次preRegistrationInitialization方法，再调用initializeThreads时，会new lease

    this.leases = new Leases((int) conf.getLong(
        HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY,
        HConstants.DEFAULT_HBASE_REGIONSERVER_LEASE_PERIOD),
        this.threadWakeFrequency);

这里默认的过期时间是60s：

  
  public static String HBASE_REGIONSERVER_LEASE_PERIOD_KEY =
    "hbase.regionserver.lease.period";
public static long DEFAULT_HBASE_REGIONSERVER_LEASE_PERIOD = 60000;

默认的lease线程周期性检查时间是10s

  /** Parameter name for how often threads should wake up */
  public static final String THREAD_WAKE_FREQUENCY = "hbase.server.thread.wakefrequency";

  /** Default value for thread wake frequency */
  public static final int DEFAULT_THREAD_WAKE_FREQUENCY = 10 * 1000;

最终在HRegionServer的startServiceThreads启动lease线程。

    this.leases.setName(n + ".leaseChecker");
    this.leases.start();

[b]2. 租约的创建[/b]
在openScanner和addRowLock时会创建租约
openScanner时，对于一个新的scanner会creatLease.

  protected long addScanner

最低0.47元/天解锁文章