HBase简介及HBase Shell操作

HBase的安装可以参照： HBase伪分布式搭建

一、简介

1、产生背景

以前Google存储大量的网页信息，如何存储，如何计算，如何快速查询就成为了一个问题，后来在2003年Google发表了3篇论文提供了解决思路，分别是GFS、MAPREDUCE、BigTable ，但是没有讲源码开源出来，后来这几篇论文被Doung Cutting（被誉为Hadoop之父）看见了，就使用java语言实现了三篇论文，与之对应的就是：
GFS— HDFS 分布式存储
MAPREDUCE—MAPREDUCE 分布式计算
BIGTABLE— HBASE分布式数据库

2、HBase概述

HBASE是一个高可靠性、高性能、面向列、可伸缩的NoSQL分布式数据存储系统，利用HBase可实现对大型数据的实时、随机的读写访问。
HBase 依赖于 HDFS 做底层的数据存储、依赖于 MapReduce做数据计算、依赖于 ZooKeeper 做服务协调

3、Hbase架构

HBase 架构如图所示：

从上图中能看出 HBase 是由 Client、ZooKeeper、HMaster、HRegionServer、HDFS 等几个组件组成，组件的相关功能：

• Client
  客户端，可以是 HBase Shell、Java API 客户端等 ， 就是用来访问 HBase 数据库的，它不仅提供了访问接口，还维护了对应的缓存（cache）来加速 HBase 的访问。Client 端的缓存主要是缓存 Region 的位置信息，减少获取元数据的时间。当 Client 端没有缓存的时候（第一次请求），会加载 Region 的位置信息到 Client 端，后面直接使用 cache 中的信息，如果出现重试，则会重新获取 Region 的位置信息，更新 Client 端的 cache。
• ZooKeeper
  HBase通过ZooKeeper来做HMaster的高可用HRegionServer 的监控、元数据的入口以及集群配置的维护等工作。它具体工作如下：
  （1）通过ZoopKeeper 来保证集群中只有1个 HMaster 在运行（active状态），如果HMaster异常，会通过竞争机制产生新的 HMaster 提供服务。
  （2）通过ZoopKeeper来监控HRegionServer的状态，当 HRegionSevrer 有异常的时候，过回调的形式通知HMaster关于HRegionServer上下线的信息
  （3）通过ZoopKeeper 存储元数据的统一入口地址
• HMaster
  HMaster 节点的主要职责如下：
  （1）监控HRegionServer ，处理HRegionServer故障转移，当某个HRegionServer 挂掉时，ZooKeeper 会将在该 HRegionServer 上的 HRegion 分配到其他 HRegionServer 上进行管理。
  （2）HRegion分裂后，负责新的 HRegion 的分配。
  （3）处理元数据的变更，比如对表的添加，修改，删除等操作。
  （4）在空闲时间进行数据的负载均衡，主要就是在 HRegionServer 间迁移HRegion，达到负载均衡。
  （5）通过 ZooKeeper 发布自己的位置给客户端。
• HRegionServer
  HRegionServer 直接负责用户的读写请求，是真正的进行数据读写的节点。它的功能概括如下：
  （1）负责和底层 HDFS 的交互，存储数据到 HDFS，HBase 是依托于 HDFS的 NoSQL 数据库，数据会存储在 HDFS 上
  （2）处理HMaster分配给它的 HRegion。
  （3）刷新缓存到 HDFS。
  （4）维护 HLog，HLog 是一个容错机制
  （5）处理来自客户端的读写请求。HRegionServer 是实际管理数据的，所以客户端的读写请求最终都要由 HRegionServer 来处理。
  （6）负责处理 HRegion 变大后的拆分（HRegion的分裂）。
  （7）负责 StoreFile 的合并工作。
• HDFS
  HDFS为HBase 提供最终的底层数据存储服务，同时为HBase 提供高可用（HLog 存储在 HDFS）的支持，具体功能概括如下：
  （1）提供元数据和表数据的底层分布式存储服务。
  （2）数据多副本，保证的高可靠和高可用性。
• WAL（Write-Ahead Logs）
  Write-Ahead Logs 即预写日志，在 HBase 中为 HLog，HLog 存储在 HDFS 上。为什么存在要有预写日志呢？其实跟 HBase 架构设计有关，当对 HBase 读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据在写入内存之前会先写在一个叫做 Write-Ahead logfile 的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。需要注意的是，HLog 是每一个 RegionServer 对应一个。
• HRegion
  HRegion 可以看成是表的横向切分，HBase 表的分片。HBase 每个表都会根据RowKey值被切分成不同的 HRegion ，并分散存储在 HRegionServer 中，在一个HRegionServer 中可以有多个不同的HRegion。这些HRegion 可以是来自不同的表。HRegion、Table、HRegionServer 关系如下面的图所示：TableA按照rowkey被等分为4个region，分别分散存储在同一个或不同的HReginServer中
  
• Store
  每一个 Region 内部，又分为多个 Store，一个 Store 对应表中的一个列族，即一个 Store 存储了对应表该列族下的部分数据。
• MemStore
  内存存储，位于内存中，用来保存当前的数据操作，当数据保存在 WAL 中之后，HRegsionServer 会在内存中存储键值对。
• HFile
  HFile是指在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以 HFile 的形式存储在 HDFS 的，文件内容是二进制。

4、HBase数据存储结构

HBase 是稀疏的，稀疏主要是针对 HBase 列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，不会占用存储空间的。HBase 底层存储的数据是 Key-Value 格式的数据。HBase 逻辑上也可以看成一个二维表格，可以添加行，可以动态添加列。

• RowKey （行键）
  RowKey 是用来检索记录的主键。类似关系型数据库中的主键，但是 RowKey在 HBase 中功能不只是为了检索，HBase 中表数据会按照 RowKey 进行排序，并会在 HRegion 达到一定大小后，会按照RowKey 范围进行裂变。访问HBase Table 中的行，只有三种方式：
  1.通过单个 RowKey 访问
  2.通过 RowKey 的 range（正则）
  3.全表扫描
  RowKey 可以是任意字符串(最大长度是 64KB)，在 HBase 内部，RowKey 保存为字节数组。存储时，数据按照 RowKey 的字典序排序存储。设计 RowKey 时，要充分利用排序存储这个特性，将经常一起读取的行存储放到一起。
• Column Family（列族）
  列族是 HBase 对表在纵向上的优化，前面介绍过 Region，将一个表横向上切成多个 Region，列族是在纵向进行切分的，将多列分成一组进行管理。 列族在物理存储上对应于 HDFS 上的一个目录。HBase表中的每个列，都归属于某个列族。列族是表的 schema 的一部分(而列不是)，必须在创建表时定义。列名都以列族作为前缀。例如 courses:history，courses:math 都属于 courses 这个列族。 每一个列族对应一个 Store，也对应 HDFS 一个目录，类似于 Hive 分区操作一样，HBase 相当于按列族进行了分区。
• Cell
  由{RowKey, ColumnFamily, Version} 唯一确定的单元。其中 Versions 实际上是TimeStamp（时间戳）。Cell 可以看成是一个存储空间，类似与 Excel 中的单元格，Cell 中的数据是没有类型的，全部是字节码形式存储。
• Time Stamp
  HBase中通过rowkey和ColumnFamily:Column确定的一个存储单元称为Cell。每个 Cell 都保存着同一份数据的多个版本，版本通过时间戳来维护，时间戳的类型是 64 位整型。时间戳可以由 HBase在数据写入时自动 赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell 中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的管理负担，HBase 提供了两种数据版本回收方式：①是保存数据的最后 n 个版本，②是保存最近一段时间内的版本

5、HBase读写数据

Region定位

无论写数据还是读数据，客户端都需要对特定的Region进行定位。HBase有两张元数据表-ROOT-和.META. ，其中-ROOT-的地址保存在zookeeper中，HBase采用三层查找架构，如下图所示：

元数据表-ROOT-和.META. 都是HBase中的表。-ROOT-表的Region被设定为永不拆分，因此意味着只有一个Region，-ROOT-表保存了.META.的region信息，而.META.中保存了用户表的Region信息。假设用户需要得到tableA中的row1的Region信息，首先通过查找Zookeeper（第一次查找）中的信息，得到-ROOT-的Region地址信息。根据第一次查找的信息可以定位到.META.表，再根据表名查询.META.得到该表的Region信息所在的位置，第二次查找可以理解为查找到tableA在RegionServer M1上的Region .META.,1上。有了这些信息，用户第三次查找.META.表则可以直接得到tableA的row1的Region信息，第三次查找在图上可以理解为row1在RegionServer U1上的Region tableA,125…5345.rt3…3ws上。这样用户就可以直接访问该地址来获取相应的数据。

写数据

如上图所示，即为HBase写数据的流程，其中对Region的定位进行了简单概括，不在过多赘述。当定位到写入的RegionServer后（假设为RegionServer2），客户端将写数据请求发送到RegionServer2,在对数据进行写入时，会首先将改动记录写入预写日志（WAL），写入的文件以Hlog形式保存在HDFS中，然后才会将数据写到MemStore，向MemStore写完后就会向客户端响应写成功，存储在MemStore中的数据到达某个阈值，HBase将会把缓冲区内容刷写到磁盘，成为HFile。写到磁盘以后，相应内容的预写日志即可丢弃。MemStore中的数据是已经排序完成的，因此HFile也是有序的。
PS:HDFS中的文件是不能修改的，因此想要删除某个键值时，HBase提供的方案是在该键值上新增一个删除标记，对某个键值进行删除后，当进行读取时检索到了该数据也不会返回客户端。
随着Memstore数据落盘，HBase中可能会存在很多小文件（默认大小为128M），这是就需要合并（compact），将小的HFile合并为大的HFile。合并的方式有两种 minor合并 和 major合并

• minor合并
  该种合并方式单纯是为了减少文件数量。因为MemStore输出的文件是整体有序的，minor合并的过程其实是多路归并排序的过程速度比较快
• major合并
  major合并是将一个Region中的一个列族的若干个HFile重写为一个HFile。在合并的同时，还会将所有有删除标记的数据略过，至此删除动作才真正生效。但major合并对性能消耗比较大，如在高并发的时候进行major合并，会极大影响性能

读数据

对Region的定位进行了简单概括，找到数据所在的RegionServer后，首先从 MemStore 找数据，如果没有，再到 BlockCache 里面读； 如果BlockCache 还没有，再到 StoreFile 上读； 如果是从 StoreFile 里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

二、HBase Shell操作

1、基本操作

• 进入HBase客户端命令行（配置过环境变量）
  habse shell
• 查看帮助命令行
  help
• 查看当前数据库中有哪些表
  list

2、表操作

• 创建表
  create 'table_name',{NAME=>'column_family1'},...,{NAME=>'column_familyn'}
  其中table_name指定创建的表名，{NAME=>‘column_family1’}用于指定列族的名称，HBase创建表时必须至少指定一个列族。
  示例：创建一个用户表customer，有住址addr和订单order两个列族

 create 'customer', {NAME=>'addr'}, {NAME=>'order'} 

• 查看表结构
  desc 'table_name'
• 插入数据
  put 'table_name','rowkey',column_family:column_name',value
  table_name代表表名，rowkey行键，column_family列族，column_name列名，value列值
  示例：在customer表中插入数据

put 'customer', 'zhangsan', 'order:price', '100.00' 
put 'customer', 'zhangsan', 'order:date', '2020-08-19' 

• 手动刷出缓存
  flush 'table_name'
  HBase写数据并不是直接写入磁盘，会写到memstore，未达到一定阈值并不会落盘，需要手动刷写
• 扫描全表查看数据
  scan 'table_name'
• 指定行查看或指定 列族:列 查看
  get 'table_name','rowkey'
get 'table_name','rowkey','column_family'
get 'table_name','rowkey','column_family:column_name'
• 更新指定字段数据
  同插入，直接插入新值即可，HBase根据时间戳维护多个版本
• 统计表数据行数
  count 'table_name'
• 删除数据
  删除rowkey的某一列：delete 'table_name','rowkey','column_family:column_name'
  删除rowkey全部数据：delete 'table_name','rowkey'
• 清空表数据
  truncate 'table_name'
• 删除表
  删除表之前需要先disable（禁用）表:disable 'table_name'
  删除：drop 'table_name'
• 设置列族存放的版本数
  'alter table_name',{NAME=>'column_familyn',VERSIONS=>5}
• 查看多版本
  `get ‘table_name’,‘rowkey’,{NAME=>‘column_familyn’,VERSIONS=>5}``