基于HBASE的并行计算架构之rowkey设计篇

转自：http://blog.51cto.com/xdataopen/1117864

1.大数据在HBASE存储、计算以及查询的应用场景

海量数据都是事务数据，事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生，也可能不会顺序产生，比如某些事务发生在早上10点，但是在下午5点才结束闭并生成出来，这样的数据就会造成存储加载时的时间连续性。另外海量数据的挖掘后产生的是统计数据，统计数据也有时间属性，统计数据如果进行保存必须保证在统计计算之后数据尽量不再变化，如果统计发生后又有新的事务数据产生，那么将重新触发统计计算然后重新保存覆盖原有已经存储的数据。其它数据则主要是以配置数据为主的通用数据。

根据以上分析按照数据的特性，我们可以将数据分为事务数据、统计数据与通用数据。

针对数据的查询根据数据的分类会有不同的用户操作场景。对于事务数据，用户的查询一定会给出时间范围（即使用户不给这个条件系统也会缺省设置），因为事务数据是海量的，如果要在指定时间范围根据不同的条件进行过滤、筛选、分组、聚合、多表关联等操作，数据在文件持久化的方式以及索引的架构将决定查询的效率，如何聪明的设计应对以上问题是高效应用HBASE的一个最大的课题。统计数据相对事务数据有一定收敛，但是同样要解决相同的查询问题。通用数据不会涉及复杂的查询需求，但是从产品的深度规划来说，要考虑与其它表关联的问题。

以上是我们对大数据应用出现的3种数据形态的应用场景做的一个简单介绍，下面我简单分析一下HBASE的架构与功能特性，从而推导出如何实现以上应用场景中的存储、计算与查询的需求。

2.标准HBASE功能特性分析

HBase是一个分布式的、面向列的开源数据库，是Apache的Hadoop 项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。如下图所示，HBASE是介于hadoop的HDFS与MapReduce之间的一个系统，基础性的介绍我这里不做多的描述，相关资料很多可参考。

如下图所示，HBASE的层次结构是RegionServer > Region > Store(MemStore) > StoreFile > HFile。HFile是数据的持久化存储媒质，MemStore是数据的内存缓存。HBASE是采用KeyValue的列存储，Rowkey是KeyValue的Key，表示唯一一行。Rowkey是一段二进制码流，最大程度为64KB，内容用户自定义。数据的加载根据Rowkey的二进制序由小到大进行排序。HBASE根据数据的规模将数据自动分切到多个Region的多个HFile中。  

HBASE是根据Rowkey来进行检索的。支持3种方式。通过单个Rowkey访问，即按照某个Rowkey键值进行get操作；通过Rowkey的range进行scan，即通过设置startRowKey和endRowKey，在这个范围内进行扫描；全表扫描，即直接扫描整张表中所有行记录。HBASE按单个Rowkey检索的效率是很高的，耗时在1毫秒以下，每秒钟可获取1000~2000条记录。

系统通过找到某个Rowkey (或者某个 Rowkey 范围)所在的Region，然后将查询数据的请求路由到该Region获取数据，如上图所示。因此数据的合理的分布是提高检索查询性能的设计方式。例如获取100万条记录，按每Region每秒1000条记录算，获取全部数据需要1000秒时间。如果数据均匀分布在集群每个Region上，那么在检索时就可以最大可能利用并行计算特性，让Region同时向客户端吐数据，如果数据均匀分布在100个Region上，那么只需要10秒就能将所有数据取下来。HBASE也支持预建Region，根据数据的特性让用户来控制数据分布。

因此对于Rowkey的设计将控制平台的并行计算效率。

3.根据HBASE功能特性设计rowkey实现并行计算

基于HBASE的特性，Rowkey的设计将决定并行计算架构。

3.1. 设计原则

首先是Rowkey长度原则，Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议说设计在10~100个字节，我的建议是越短越好，不要超过16个字节。原因一数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100*1000万=10亿个字节，将近1G数据，这会极大影响HFile的存储效率；原因二MemStore将缓存部分数据到内存，如果Rowkey字段过长内存的有效利用率会降低，系统将无法缓存更多的数据，这会降低检索效率。因此Rowkey的字节长度越短越好。原因三目前操作系统是都是64位系统，内存8字节对齐。控制在16个字节，8字节的整数倍利用操作系统的最佳特性。

其次是Rowkey散列原则，如果Rowkey是按时间戳的方式递增，不要将时间放在二进制码的前面，建议将Rowkey的高位作为散列字段，由程序循环生成，低位放时间字段，这样将提高数据均衡分布在每个Regionserver实现负载均衡的几率。如果没有散列字段，首字段直接是时间信息将产生所有新数据都在一个RegionServer上堆积的热点现象，这样在做数据检索的时候负载将会集中在个别RegionServer，降低查询效率。

最后是Rowkey唯一原则，必须在设计上保证其唯一性。

3.2. 架构模型

基于Rowkey的长度原则、散列原则以及唯一原则我将针对不同应用场景提出不同的Rowkey设计建议。

针对事务数据Rowkey设计：事务数据是带时间属性的，我会将时间信息存入到Rowkey中，这有助于提示查询检索速度。对于事务数据我缺省就按天为数据建表，这样设计的好处是多方面的。按天分表后，我时间信息就可以去掉日期部分只保留小时分钟毫秒，这样4个字节即可搞定。加上散列字段2个字节一共6个字节即可组成唯一Rowkey。如下图所示：

 

事务数据Rowkey设计
第0字节	第1字节	第2字节	第3字节	第4字节	第5字节	…
散列字段		时间字段(毫秒)				扩展字段
0~65535(0x0000~0xFFFF)		0~86399999(0x00000000~0x05265BFF)

 

这样的设计从操作系统内存管理层面无法节省开销，因为64位操作系统是必须8字节对齐。但是对于持久化存储中Rowkey部分可以节省25%的开销。也许有人要问为什么不将时间字段以主机字节序保存，这样它也可以作为散列字段了。这是因为时间范围内的数据还是尽量保证连续，相同时间范围内的数据查找的概率很大，对查询检索有好的效果，因此使用独立的散列字段效果更好，对于某些应用，我们可以考虑利用散列字段全部或者部分来存储某些数据的字段信息，只要保证相同散列值在同一时间（毫秒）唯一。

针对统计数据的Rowkey设计：统计数据也是带时间属性的，统计数据最小单位只会到分钟（到秒预统计就没意义了）。同时对于统计数据我们也缺省采用按天数据分表，这样设计的好处无需多说。按天分表后，时间信息只需要保留小时分钟，那么0~1400只需占用两个字节即可保存时间信息。由于统计数据某些维度数量非常庞大，因此需要4个字节作为序列字段，因此将散列字段同时作为序列字段使用也是6个字节组成唯一Rowkey。如下图所示：

 

统计数据Rowkey设计
第0字节	第1字节	第2字节	第3字节	第4字节	第5字节	…
散列字段(序列字段）				时间字段(分钟)		扩展字段
0x00000000~0xFFFFFFFF)				0~1439(0x0000~0x059F)

 

同样这样的设计从操作系统内存管理层面无法节省开销，因为64位操作系统是必须8字节对齐。但是对于持久化存储中Rowkey部分可以节省25%的开销。预统计数据可能涉及到多次反复的重计算要求，需确保作废的数据能有效删除，同时不能影响散列的均衡效果，因此要特殊处理。

针对通用数据的Rowkey设计：通用数据采用自增序列作为唯一主键，用户可以选择按天建分表也可以选择单表模式。这种模式需要确保同时多个入库加载模块运行时散列字段（序列字段）的唯一性。可以考虑给不同的加载模块赋予唯一因子区别。设计结构如下图所示。

 

通用数据Rowkey设计
第0字节	第1字节	第2字节	第3字节	…
散列字段(序列字段）				扩展字段（控制在12字节内）
0x00000000~0xFFFFFFFF)				可由多个用户字段组成

 

 

4.结论

以上总结了HBASE的并行计算架构中关于Rowkey设计的要点。并行计算除了Rowkey之外还有其它影响因素，将在其他篇章予以说明。