HBase Replication的源码分析

最新推荐文章于 2024-09-02 19:02:16 发布

原创

最新推荐文章于 2024-09-02 19:02:16 发布 · 995 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#HBase

本文深入探讨HBase的复制机制，从HRegionServer的ReplicationSourceService和ReplicationSinkService开始，分析如何启动复制服务，初始化ReplicationSource和ReplicationSink，以及WAL日志的读取和过滤过程。重点讲解了ReplicationSource的run方法，包括获取replicationEndpoint、初始化WALEntryFilter、启动ReplicationSourceWorkThread以及shipEdits的流程。同时，还涉及到了接收端的处理逻辑，如replicateWALEntry函数和ReplicationSink的replicateEntries方法。文章揭示了wal log的读取和过滤逻辑，以及wal log在被复制到目标集群后的处理方式。

在HRegionServer中有两个量和replication相关，如下图所示：

在ReplicationSourceService中只有一个方法getWALActionsListener，该方法返回WALActionsListener。ReplicationSinkService同样也是一个接口类，它有一个方法replicateLogEntries。在HRegionServer的如下代码段中会启动replicationservice。

startReplicationService中做了三件事，分别是调用ReplicationSourceManger的init方法，初始化replicationSink，初始化调度线程池scheduleThreadPool；

在ReplicationSourceManager的init方法中遍历replicationPeers中的peerid。并以该id为参数，调用addSource方法。

addSource中做了这么几件事，首先，针对每个peerid构造了一个ReplicationSource对象，把所有的wal log按照不同的peer id归类，并保存在ReplicationSourceManager的队列replicationQueues中，以表示不同目标端集群当前replicate的wal log。每个ReplicationSource中保存了待同步到同一个slave集群的hlog，这些hlog根据不同的prefix name组成不同的队列，每个队列都有一个ReplicationSourceWorkerThread负责同步该队列中的hlog。

下面说回ReplicationSource，