HBase简介与基本原理

一，HBase简介

        HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式

        HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

        与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

        Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

二，HBase的主要原理

        客户端（Client）发送对应的请求（增、删、改、查），首先客户端会从Zookeeper中获取一个-ROOT-的表的元信 息（即-ROOT-的位置）；第二步，客户端就去读取对应的-ROOT-表的信息，-ROOT-表中存储了对应的Meta的元数据信息；第三步，客户端知道了Meta表元数据信息后就去读取对应Meta表的信息，Meta表存储了对应存放数据的RegionServer的位置信息等；第四步，就去获取对应 RegionServer上的数据。

　　HBase中比较重要的RegionServer，它上面包含的内容有：WAL(HLog)、BlockCache、Region、MemStore、StoreFile（HFile新版本的改进），下面主要讲一下这些个名词的原理和含义：

　　1）　　WAL：Write Ahead Log即提前写日志（Log），根据字面意思就知道，在写操作的时候，就是先要写入到该日志文件中。所有写操作都会先保证将数据写入这个Log文件后，才会真正更新MemStore，最后写入HFile中。这样可以在RegionServer挂掉后，通过WAL来恢复数据，从而避免数据的丢失。一般一个 RegionServer只有一个WAL实例，也就是说一个RegionServer的所有WAL写都是串行的，你可能会觉得这会有性能问题，因而在 HBase 1.0之后，通过HBASE-5699实现了多个WAL并行写(MultiWAL)，该实现采用HDFS的多个管道写，以单个HRegion为单位。

   　2)　　BlockCache：它是一个读缓存，即“引用局部性”原理。

　　3)　　Region：它是一个Table在一个RegionServer中的存储单元，也是分布式存 储的最小单元。一个Table可以有一个或多个Region，他们可以在一个相同的RegionServer上，也可以分布在不同的 RegionServer上，一个RegionServer可以有多个Region，他们分别属于不同的Table。Region由多个Store构成， 每个Store对应了一个Table在这个Region中的一个Column Family，即每个Column Family就是一个集中的存储单元，因而最好将具有相近IO特性的Column存储在一个Column Family，以实现高效读取(数据局部性原理，可以提高缓存的命中率)。Store是HBase中存储的核心，它实现了读写HDFS功能，一个 Store由一个MemStore 和0个或多个StoreFile组成。

　　4)　　MemStore是一个写缓存(In Memory Sorted Buffer)，所有数据的写在完成WAL日志写后，再写入MemStore中，由MemStore根据一定的算法将数据Flush到地层HDFS文件中 (HFile)，通常每个HRegion中的每个 Column Family有一个自己的MemStore。

　　5)　　HFile(StoreFile) 用于存储HBase的数据(Cell/KeyValue)。在HFile中的数据是按RowKey、Column Family、Column排序，对相同的Cell(即这三个值都一样)，则按timestamp倒序排列。

三，HBase的访问方式

        HBase 支持很多种访问，访问HBase的常见接口如下。

        1）Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据。

        2）HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。

        3）Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据。

        4）REST Gateway，支持REST 风格的Http API访问HBase, 解除了语言限制。

        5）Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduce Job来处理HBase表数据，适合做数据统计。

        6）Hive，当前Hive的Release版本支持HBase，可以使用类似SQL语言来访问HBase。

四，HBase的系统架构

        Client
        HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPC

        Zookeeper
        Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。此外，Zookeeper也避免了HMaster的单点问题，见下文描述

        HMaster
        HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行，HMaster在功能上主要负责Table和Region的管理工作：

        1. 管理用户对Table的增、删、改、查操作
        2. 管理HRegionServer的负载均衡，调整Region分布
        3. 在Region Split后，负责新Region的分配
        4. 在HRegionServer停机后，负责失效HRegionServer 上的Regions迁移

        HRegionServer
        HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。

        HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了Table中的一个Region，HRegion中由多个HStore组成。每个HStore对应了Table中的一个Column Family的存储，可以看出每个Column Family其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个Column Family中，这样最高效。

       HStore存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile，合并过程中会进行版本合并和数据删除，因此可以看出HBase其实只有增加数据，所有的更新和删除操作都是在后续的compact过程中进行的，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBase I/O的高性能。当StoreFiles Compact后，会逐步形成越来越大的StoreFile，当单个StoreFile大小超过一定阈值后，会触发Split操作，同时把当前Region Split成2个Region，父Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上。
        HLog：在理解了上述HStore的基本原理后，还必须了解一下HLog的功能，因为上述的HStore在系统正常工作的前提下是没有问题的，但是在分布式系统环境中，无法避免系统出错或者宕机，因此一旦HRegionServer意外退出，MemStore中的内存数据将会丢失，这就需要引入HLog了。每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中（HLog文件格式见后续），HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据）。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取 到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。

        HFile
        HBase中KeyValue数据的存储格式，是hadoop的二进制格式文件。 首先HFile文件是不定长的，长度固定的只有其中的两块：Trailer和FileInfo。Trailer中有指针指向其他数据块的起始点，FileInfo记录了文件的一些meta信息。 Data Block是hbase io的基本单元，为了提高效率，HRegionServer中有基于LRU的block cache机制。每个Data块的大小可以在创建一个Table的时候通过参数指定（默认块大小64KB），大号的Block有利于顺序Scan，小号的Block利于随机查询。每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成，Magic内容就是一些随机数字，目的是防止数据损坏，结构如下。

        HFile结构图如下：

        Data Block段用来保存表中的数据，这部分可以被压缩。 Meta Block段（可选的）用来保存用户自定义的kv段，可以被压缩。 FileInfo段用来保存HFile的元信息，不能被压缩，用户也可以在这一部分添加自己的元信息。 Data Block Index段（可选的）用来保存Meta Blcok的索引。 Trailer这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key。DataBlock Index采用LRU机制淘汰。 HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。目标HFile的压缩支持两种方式：gzip、lzo。

   另外，针对目前针对现有HFile的两个主要缺陷：

        a) 占用过多内存

        b) 启动加载时间缓慢

        基于此缺陷，提出了HFile Version2设计。