本文介绍了openLooKeng中的HBase Connector，详细阐述了其功能，包括数据读写和元数据管理。接着分析了HBase Connector的性能，并提出了在1.2.0版本中的两个关键优化：新的分片规则和访问快照模式，显著提升了全表扫描的性能。文章还分享了性能测试结果，并预告了相关技术直播活动。
1. HBase Connector介绍
数据虚拟化引擎openLooKeng中的HBase Connector支持访问Apache HBase集群并进行查询和创建表的操作。用户可以在openLooKeng中创建表，并映射到HBase Cluster中已有的表，支持INSERT、SELECT和DELETE操作。
——
一个简单的全表扫描的sql的执行，会经历哪些阶段：
首先该sql将要访问的数据，一定是属于某一个数据源的，那么一个通用的Connector需要做哪些事情。Sql的解析是由openLooKeng本身完成的；接下来是生成执行计划，在这个阶段需要验证用户所访问的表的合法性，那么Connector则需要提供该功能（即元数据管理）；然后就到了任务调度阶段，openLooKeng会将一个大任务划分为多个小任务，由多个worker分工完成，那么Connector会提供split分割的接口，即SplitManager；Worker在收到任务之后，以分片为最小单元进行数据加载，此时需要用到Connector中的PageSource/PageSink来完成数据的读写操作。所以在HBase Connector中我们实现了这些关键模块（SplitManager，HBaseClient，HetuMetastore）。
HBase Cluster的主要组件：ZooKeeper用来记录一些元数据信息，Master用来处理用户发过来的请求，RegionServer用来执行用户请求并管理Region的分裂和合并。
——HBase Connector数据流：
- 建表（HBase Connector支持两种模式的建表）。
① 直接关联远端HBase数据源上的表（即外表的形式）
② 在openL
最低0.47元/天 解锁文章
扫一扫
955
到【灌水乐园】发言
