本文详细介绍了HBase的架构，包括Client、Zookeeper、HMaster、HRegionServer和HDFS等组件的功能。此外，讨论了HBase的数据存储结构，如RowKey、Column Family、Cell和Timestamp。最后，探讨了HBase的进阶原理，如写流程、读流程、MemStore Flush、StoreFile Compact合并机制、预分区、Region拆分与合并。通过对这些核心概念的理解，读者能深入了解HBase的工作机制。
目录
一、HBase架构
从图中可以看出，HBase是由Client、Zookeeper、HMaster、HRegionServer、HDFS等几个组件组成。
下面介绍一下几个组件的相关功能：
1、Client
Client包含了访问HBase的接口，另外Client还维护了对应的cache来加速HBase的访问，比如cache的.META元数据的信息。
2、Zookeeper
HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。具体工作如下：
- 通过Zookeeper来保证集群中只有1个master在运行，如果master异常，会通过竞争机制产生新的master提供服务
- 通过Zookeeper来监控RegionServer的状态，当RegionServer有异常的时候，通过回调的形式通知master、RegionServer上下线的信息
- 通过Zookeeper存储元数据的统一入口地址
3、HMaster（类似NameNode）
master节点的主要职责如下：
- 为RegionServer分配Region
- 维护整个集群的负载均衡
- 维护集群的元数据信息
- 发现失效的Region，并将失效的Region分配到正常的RegionServer上
- 当RegionServer失效的时候，协调对应Hlog的拆分
4、HRegionServer（类似DataNode）
HregionServer直接对接用户的读写请求，是真正的“干活”的节点。它的功能概括如下：
- 管理master为其分配的Region, 一个HRegionServer会负责管理很多个region
- 处理来自客户端的读写请求
- 负责和底层HDFS的交互，存储数据到HDFS
- 负责Region变大以后的拆分
- 负责Storefile的合并工作
5、HDFS
HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用（Hlog存储在HDFS）的支持，具体功能概括如下：
- 提供元数据和表数据的底层分布式存储服务
- 数据多副本，保证的高可靠和高可用性
6、HRegion
HBase表的分片，HBase表会根据RowKey值被切分成不同的HRegion存储在RegionServer中，每个HRegion会分散在不同的RegionServer中，但一个HRegion是不会拆分到多个RegionServer上的。 HRegion是Hbase中分布式存储和负载均衡的最小单元。
7、Store
每个HRegion由多个Store构成，每个Store由一个MemStore和0或多个StoreFile组成，每个Store保存一个Columns Family。
8、HFile
这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。HRegion虽然是分布式存储的最小单元，但并不是存储的最小单元。StoreFile是以HFile的形式存储在HDFS的。
HFile的格式参考如下：
HFile分为六个部分：
- Data Block 段–保存表中的数据，这部分可以被压缩
- Meta Block 段 (可选的)–保存用户自定义的kv对，可以被压缩。
- File Info 段–Hfile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。
- Data Block Index 段–Data Block的索引。每条索引的key是被索引的block的第一条记录的key。
- Meta Block Index段 (可选的)–Meta Block的索引。
- Trailer– 这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key。DataBlock Index采用LRU机制淘汰。
HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。目标HFile的压缩支持两种方式：Gzip，Lzo。
9、MemStore
memstore是一块内存区域，写入的数据会先写入memstore进行缓冲，然后再把数据刷到磁盘 。内存存储存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。
10、WAL（Write-Ahead logs）
当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
11、HBase Meta表
HBase有一个叫做Meta的特殊的目录表，用于保存集群中Regions的位置信息（Region列表）。ZooKeeper存储着Meta表的位置。
二、HBase数据存储结构
1、RowKey（行键）
与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：
1）通过单个RowKey访问(get)
2）通过RowKey的range（正则）(like)
3）全表扫描(scan)
RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计RowKey时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
