hbase之基本概念与架构

 

HBase概述

Hbase是基于hadoop的一张大表(十亿行 * 百万列), 可以支持十亿级数据量的秒级查询.

Hbase实现了更高的性能, 但在一定程度上牺牲了数据的一致性(部分一致性).

Hbase一条数据有多个版本. 基于时间戳的版本可以通过追加写解决大表随机写的问题

HBase与hive: HBase相当于一个数据库, 往hdfs中写入数据; 而hive为一个数据仓库, 支持表的关联操作 , 可以用作数据分析.
hbase依赖于hdfs, hdfs本身不支持随机写,只支持追加写.
Hbase通过增加时间戳的方式来支持对数据的修改(间接解决不能支持随机写的问题),
在查询时，只返回时间戳最大的数据.

HBase表确定一个字段值所需要的概念

库:表名, 行键, 列族名:列名, 时间戳, 值

注意HBase在创建表时只指定表名与列族名.

时间戳主要是为了HBase能够实现大表的随机读写, 同时HBase也能设置保存数据版本个数.

概念简介

• namespace： 名称空间; 存放表的库
• table：表
• rowkey: 行键。 rowkey是一行唯一标识. 通过rowkey可以快速地检索到数据属于哪个region.
  rowkey会在region中进行字典排序.
• column family: 列族。由多个列组成. 一个列族在hdfs上为一个文件夹, 文件夹中由多个hfile文件组成. 列族是在建表时指定. 一个表的列族越少越好.
• column quliafier:
  列名。列名是在插入数据时随意指定，不限类型，不限名称.
• TimeStamp 标识数据的不同版本（version）。 时间戳默认由系统指定， 也可由用户指定。
  在读取单元格的数据时，如果不指定， 默认会获取最新版本数据返回.
• cell
  保存一个字段值的数据单元, 也是最小的数据单元.

HBase还有一个概念: region。 一个表的若干行，组成一个region. region是服务端在处理请求时的最小单位, 由regionsServer管理. 这样就可以将一个HBase表划分给多个regionServer管理.

HBase的架构

Master

master负责表的管理 (DDL)

Table: create, delete, alter

RegionServer

RegionServer负责表的增删改查(DML),以及维护

• 表的数据的读写(DML).
• 分配region到RegionServer, 监控RegionSever的状态.
• region的合并(splitRegion)与拆分(compactRegion).

一张HBase表按行划分为多个region由RegionServer管理. 每个region以HFlile文件格式将数据保存在磁盘上.

region :表按行的一个切片, 包含一整行所有字段

StoreFile由Mem Store刷写到磁盘, 保存为HFile格式的文件