HBase 表操作 读写流程

HBase 表操作

创建表

hbase(main)> create ‘student’,‘info’
hbase(main)> create ‘iparkmerchant_order’,‘smzf’
hbase(main)> create ‘staff’,'info’

插入数据到表

hbase(main) > put ‘student2’,‘1001’,cf1:name’,‘Thomas’
hbase(main) > put ‘student2’,‘1001’,‘cf1:sex’,‘male’
hbase(main) > put ‘student2’,‘1001’,‘cf1:age’,‘18’
hbase(main) > put ‘student2’,‘1002’,‘cf1:name’,‘Janna’
hbase(main) > put ‘student2’,‘1002’,‘cf1:sex’,‘female’
hbase(main) > put ‘student2’,‘1002’,‘cf1:age’,'20’

数据插入后的数据模型

扫描查看表数据

hbase(main) > scan ‘student’
hbase(main) > scan ‘student’,{STARTROW => ‘1001’, STOPROW => ‘1001’}
hbase(main) > scan ‘student’,{STARTROW => '100
注：这个是从哪一个rowkey开始扫描

查看表结构

hbase(main):012:0> desc 'student’

更新指定字段的数据

hbase(main) > put ‘student’,‘1001’,‘info:name’,‘Nick’
hbase(main) > put ‘student’,‘1001’,‘info:age’,‘100’
hbase(main) > put ‘student’,‘1001’,‘info:isNull’,’’（仅测试空值问题）

查看“指定行”或“指定列族:列”的数据

hbase(main) > get ‘student’,‘1001’
hbase(main) > get ‘student’,‘1001’,'info:name’

删除数据

删除某rowkey的全部数据：
hbase(main) > deleteall ‘student’,'1001’

清空表数据

hbase(main) > truncate ‘student’
尖叫提示：清空表的操作顺序为先disable，然后再truncate。

删除表

首先需要先让该表为disable状态：
hbase(main) > disable 'student’

检查这个表是否被禁用

base(main) > is_enabled ‘hbase_book’
hbase(main) > is_disabled ‘hbase_book’
恢复被禁用得表
enable 'student’

然后才能drop这个表：

hbase(main) > drop ‘student’
尖叫提示：如果直接drop表，会报错：Drop the named table. Table must first be disabled
ERROR: Table student is enabled. Disable it first.

统计表数据行数

hbase(main) > count 'student’

变更表信息

将info列族中的数据存放3个版本：
hbase(main) > alter ‘student’,{NAME=>‘info’,VERSIONS=>3}
查看student的最新的版本的数据
hbase(main) > get ‘student’,‘1001’
查看HBase中的多版本
hbase(main) > get ‘student’,‘1001’,{COLUMN=>‘info:name’,VERSIONS=>10}

常用Shell操作

satus 例如：显示服务器状态
hbase> status 'bigdata111’

exists 检查表是否存在，适用于表量特别多的情况
hbase> exists 'hbase_book’

is_enabled/is_disabled 检查表是否启用或禁用
hbase> is_enabled ‘hbase_book’
hbase> is_disabled 'hbase_book’

lter 该命令可以改变表和列族的模式，例如：
为当前表增加列族：
hbase> alter ‘hbase_book’, NAME => ‘CF2’, VERSIONS => 2

为当前表删除列族：
hbase> alter ‘hbase_book’, ‘delete’ => 'CF2’

disable禁用一张表
hbase> disable ‘hbase_book’
hbase> drop 'hbase_book’

delete
删除一行中一个单元格的值，例如：
hbase> delete ‘hbase_book’, ‘rowKey’, 'CF:C’

== truncate清空表数据，即禁用表-删除表-创建表
hbase> truncate ‘hbase_book’==

create
创建多个列族：
hbase> create ‘t1’, {NAME => ‘f1’}, {NAME => ‘f2’}, {NAME => ‘f3’}

---

读写流程

HBase读数据流程

Hbase的regionserver的内存Memstore，block cache。Memstore作业主要是写，另一部分主要是读的。block cache用的是LRU，如果block cache达到上限，会启动淘汰机制。

（1） HRegionServer保存着.META.的这样一张表以及表数据，要访问表数据，首先Client先去访问zookeeper，从zookeeper里面找到.META.表所在的位置信息，即找到这个.META.表在哪个HRegionServer上保存着。

（2）接着Client通过刚才获取到的HRegionServer的IP来访问.META.表所在的HRegionServer，从而读取到.META.，进而获取到.META.表中存放的元数据。

（3）Client通过元数据中存储的信息，访问对应的HRegionServer，然后扫描(scan)所在
HRegionServer的Memstore如果没有，扫描block cache（读数据的缓存），如果还没有去Storefile来查询数据，查到数据之后将数据读到block cache。

（4）最后HRegionServer把查询到的数据响应给Client。

HBase写数据流程

（1）Client也是先访问zookeeper，进而找到.META.表，并获取.META.表信息。

（2）确定当前将要写入的数据所对应的RegionServer服务器和Region。

（3）Client向该RegionServer服务器发起写入数据请求，然后RegionServer收到请求并响应。

（4）Client先把数据写入到HLog，以防止数据丢失。

（5）然后将数据写入到Memstore。

（6）如果Hlog和Memstore均写入成功，则这条数据写入成功。在此过程中，如果Memstore达到阈值，会把Memstore中的数据flush到StoreFile中。

（7）当Storefile越来越多，会触发Compact合并操作，把过多的Storefile合并成一个大的Storefile。当Storefile越来越大，Region也会越来越大，达到阈值后，会触发Split操作，将Region一分为二。

尖叫提示：因为内存空间是有限的，所以说溢写过程必定伴随着大量的小文件产生。