7、Hbase基本框架

HBase是一个构建在HDFS上的分布式列存储系统；
HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
从逻辑上讲， HBase将数据按照表、行和列进行存储。
[img]http://dl2.iteye.com/upload/attachment/0107/0225/3b9a68cd-11b4-3793-8fbb-7fa88853083b.png[/img]

Hbase与HDFS对比：
两者都具有良好的容错性和扩展性，都可以扩展到成百上千个节点；
HDFS适合批处理场景：
不支持数据随机查找
不适合增量数据处理
不支持数据更新

Hbase表的特点：
大：一个表可以有数十亿行，上百万列；
无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
面向列：面向列（族）的存储和权限控制，列（族）独立检索；
稀疏：对于空（ null）的列，并不占用存储空间，表可以设计的非常稀疏；
数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；
数据类型单一： Hbase中的数据都是字符串，没有类型。

行存储与列存储：
[img]http://dl2.iteye.com/upload/attachment/0107/0227/83c0dfe4-b609-3f41-aac0-2cd2cd7fd2a5.png[/img]

HBase是基于Google BigTable模型开发的，典型的key/value系统；
[img]http://dl2.iteye.com/upload/attachment/0107/0231/7f5c5847-1a2a-39fe-9531-66ae89429026.png[/img]
[img]http://dl2.iteye.com/upload/attachment/0107/0233/e2b215f1-7b7b-339b-941a-1523f910d186.png[/img]
[img]http://dl2.iteye.com/upload/attachment/0107/0235/aa4727fa-6249-3be7-96cb-5782684091df.png[/img]
[img]http://dl2.iteye.com/upload/attachment/0107/0239/6c683ec0-cf91-3b53-ba1a-72aec1709025.png[/img]


Hbase支持的操作,所有操作均是基于rowkey的；
支持CRUD（ Create、 Read、 Update和Delete）和Scan；
单行操作:
Put
Get
Scan
多行操作:
Scan
MultiPut
没有内置join操作，可使用MapReduce解决。

Hbase物理模型:
每个column family存储在HDFS上的一个单独文件中；
Key 和 Version number在每个 column family中均由一份；
空值不会被保存。
HBase 为每个值维护了多级索引，即：
<rowkey, column family, columnname, timestamp>
[img]http://dl2.iteye.com/upload/attachment/0107/0265/6604abf8-fa58-3550-8edf-9a9d90499486.png[/img]

Region是HBase中分布式存储和负载均衡的最小单元。不同Region分布到不同RegionServer上；
[img]http://dl2.iteye.com/upload/attachment/0107/0267/7f14534c-45b3-3723-8d5e-191e88677098.png[/img]

Region虽然是分布式存储的最小单元，但并不是存储的最小单元。Region由一个或者多个Store组成，每个store保存一个columns family；每个Strore又由一个memStore和0至多个StoreFile组成；memStore存储在内存中， StoreFile存储在HDFS上。
[img]http://dl2.iteye.com/upload/attachment/0107/0269/486430ef-a829-3692-869e-048dc4cb1eb6.png[/img]


HBase架构:
[img]http://dl2.iteye.com/upload/attachment/0107/0271/68819381-7752-3c8c-9afd-9da4ed7a954d.png[/img]

Client
包含访问HBase的接口，并维护cache来加快对HBase的访问
Zookeeper
保证任何时候，集群中只有一个master
存贮所有Region的寻址入口
实时监控Region server的上线和下线信息。并实时通知给Master
存储HBase的schema和table元数据
Master
为Region server分配region
负责Region server的负载均衡
发现失效的Region server并重新分配其上的region
管理用户对table的增删改查操作
Region Server
Region server维护region，处理对这些region的IO请求
Region server负责切分在运行过程中变得过大的region
[img]http://dl2.iteye.com/upload/attachment/0107/0275/859cb495-3ab4-32fc-9e55-c4e234904950.png[/img]

HBase容错性：
Master容错： Zookeeper重新选择一个新的Master
无Master过程中，数据读取仍照常进行；
无master过程中， region切分、负载均衡等无法进行；
RegionServer容错：定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳
Master将该RegionServer上的Region重新分配到其他RegionServer上；
失效服务器上“预写”日志由主服务器进行分割并派送给新的
RegionServer
Zookeeper容错： Zookeeper是一个可靠地服务
一般配置3或5个Zookeeper实例。

Region定位:
[img]http://dl2.iteye.com/upload/attachment/0107/0281/9531941e-e469-3b81-8c4d-b940b3b978b5.png[/img]
.ROOT-
表包含.META.表所在的region列表，该表只会有一个Region；
Zookeeper中记录了 -ROOT-表的location。
.META.
表包含所有的用户空间region列表，以及RegionServer的服务器地址。