Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）

最新推荐文章于 2024-03-09 09:26:33 发布
最新推荐文章于 2024-03-09 09:26:33 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： HBase 文章标签： HBase shell hbase物理架构 hbase逻辑架构 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/May_J_Oldhu/article/details/108781035
版权
本文深入介绍了Apache HBase，包括其作为NoSQL数据库的基本概述、发展历史、应用场景，特别是时间序列数据、信息交换和Web后端应用。详细解析了HBase的物理和逻辑架构，强调了HMaster和RegionServer的角色。此外，文章还探讨了HBase的数据管理和架构特点，并通过HBase Shell展示了如何创建、查询和管理表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NoSQL综述及Apache HBase基础

一.HBase

1.HBase概述

  • HBase是一个领先的NoSQL数据库
    是一个面向列存储的数据库
    是一个分布式hash map
    基于Google Big Table论文
    使用HDFS作为存储并利用其可靠性
  • HBase特点
    数据访问速度快，响应时间约2-20毫秒
    支持随机读写，每个节点20k~100k+ ops/s
    可扩展性，可扩展到20,000+节点

2.HBase发展历史

时间事件
2006年Google发表了关于Big Table论文
2007年第一个版本的HBase和Hadoop0.15.0一起发布
2008年HBase成为Hadoop的子项目
2010年HBase成为Apache顶级项目
2011年Cloudera基于HBase0.90.1推出CDH3
2012年HBase发布了0.94版本
2013-2014HBase先后发布了0.96版本/0.98版本
2015-2016HBase先后发布了1.0版本、1.1版本和1.2.4版本
2017年HBase发布1.3版本
2018年HBase先后发布了1.4版本和2.0版本

3.HBase应用场景

3.1增量数据-时间序列数据

​ 高容量，高速写入

在这里插入图片描述

3.2信息交换-消息传递

高容量，高速读写

在这里插入图片描述

3.3内容服务-Web后端应用程序

高容量，高速读写

在这里插入图片描述

3.4HBase应用场景示例

  • Facebook
    9000 memcached instances，4000 shards mysql
    2011全部迁移到HBase
  • Alibaba
    自2010年以来，HBase一直为阿里搜索系统的核心存储
    当前规模
    3 个集群，每个有1000+ nodes
    在Yarn上与Flink共享
    每天提供超过10M+ ops/s 的服务

4.Apache HBase生态圈

HBase生态圈技术
Lily – 基于HBase的CRM
OpenTSDB – HBase面向时间序列数据管理
Kylin – HBase上的OLAP
Phoenix – SQL操作HBase工具
Splice Machine – 基于HBase的OLTP
Apache Tephra – HBase事务支持
TiDB – 分布式SQL DB
Apache Omid - 优化事务管理
Yarn application timeline server v.2 迁移到HBase
Hive metadata存储可以迁移到HBase
Ambari Metrics Server将使用HBase做数据存储

5.HBase物理架构

HBase采用Master/Slave架构

  • HMaster
  • RegionServer
  • Zookeeper
  • HBase Client
  • Region

在这里插入图片描述

5.1 HMaster

HMaster的作用：

  • 是HBase集群的主节点，可以配置多个，用来实现HA
  • 管理和分配Region
  • 负责RegionServer的负载均衡
  • 发现失效的RegionServer并重新分配其上的Region

5.2RegionServer

RegionServer负责管理维护Region

  • 一个RegionServer包含一个WAL、一个BlockCache (读缓存)和多个Region
  • 一个Region包含多个存储区，每个存储区对应一个列族
  • 一个存储区由多个StoreFile和MemStore组成（MemStore内存）
  • 一个StoreFile对应于一个HFile和一个列族
  • HFile和WAL作为序列文件保存在HDFS上
  • Client与RegionServer交互

功能：

  • 负责管理HBase的实际数据

  • 处理分配给它的Region

  • 刷新缓存到HDFS

  • 维护HLog

  • 执行Compaction

  • 负责处理Region分片

在这里插入图片描述

5.3Region和Table

  • 单个Table（表）被分区成大小大致相同的Region
  • Region是HBase集群分布数据的最小单位
  • Region被分配给集群中的RegionServer
  • 一个Region只能分配给一个RegionServer

HRegion

HBase使用表（table）存储数据集，表由行和列组成，这与关系型数据库类似。但是在HBase，当表的大小超过设定值时，HBase会自动将表划分为不同的区域（Region),每个区域成为HRegion，它是HBase集群上分布式存储和负载均衡的最小单位，在这一点上，表和HRegion类似于HDFS中文件和文件块的概念。一个HRgion中保存一个表中一段连续的数据，通过表名和主键范围（开始主键~结束主键）来区分每一个HRgion。

在这里插入图片描述

6.HBase逻辑架构 - Row

  • Rowkey（行键）是唯一的并已排序
  • Schema可以定义何时插入记录
  • 每个Row都可以定义自己的列，即使其他Row不使用
    相关列定义为列族
  • 使用唯一时间戳维护多个Row版本
    在不同版本中值类型可以不同
  • HBase数据全部以字节存储

在这里插入图片描述

7.HBase数据管理

  • 数据管理目录
    系统目录表hbase:meta
    存储元数据等
    HDFS目录中的文件
    Servers上的region实例
  • HBase数据在HDFS上
    可以通过HDFS进行修复File
    修复路径：
    RegionServer->Table->Region->RowKey->列族

在这里插入图片描述

8.HBase架构特点

  • 强一致性
  • 自动扩展
    当Region变大会自动分割
    使用HDFS扩展数据并管理空间
  • 写恢复
    使用WAL(Write Ahead Log)
  • 与Hadoop集成

9.HBase Shell

HBase Shell是一种操作HBase的交互模式
支持完整的HBase命令集

命令类别命令
Generalversion, status, whoami, help
DDLalter, create, describe, disable, drop, enable, exists, is_disabled, is_enabled, list
DMLcount, delete, deleteall, get, get_counter, incr, put, scan, truncate
Toolsassign, balance_switch, balancer, close_region, compact, flush, major_compact, move, split, unassign, zk_dump
Replicationadd_peer, disable_peer, enable_peer, remove_peer, start_replication, stop_replication
HBase Shell命令功能描述
list列出HBase中的所有表
create创建一张表
describe列出表的详细信息
alter修改表的列族
disable禁用表，使表无效
enable启用表，使表有效
drop删除表
exists判断表是否存在
count统计表中行的数量，一个行键为一行
delete删除指定对象的值
deleteall删除指定行所有元素值
get获取行或者单元的值
incr增加指定表，行或列或值
put向指定的表单元添加值
tools列出HBase所支持的工具
scan通过·对表的扫描来获取对应的值
status返回HBase集群的·状态信息
shutdown关闭HBase集群·
truncate重新创建指定表
versionHBase的版本信息

9.1创建表：create

语法：
create '表名称','列名称1','列名称2',...,'列名称N'

--创建表
create 'customer', {NAME=>'addr'}, {NAME=>'order'}

9. 2查看所有表：list，describe

语法：
list
列出表的详细信息
desc '表名'

--查看表
list
--列出表的详细信息
desc 'customer'

9.3添加数据：put

语法：
put '表名称' ,'行建','列建','值'

--插入数据
 put 'customer','2','addr:address','zhenjiang'

9.4扫描表：scan

scan用于全表扫描
scan '表名称',{COLUMN=>['列族名1','列族名2'...]，参数名=>参数值...}

hbase(main):103:0> scan 'customer'
ROW                             COLUMN+CELL
 1001                           column=addr:address, timestamp=1600937534433, value=ahha
 2                              column=addr:address, timestamp=1600927647563, value=baohua
 jsmith                         column=addr:city, timestamp=1600925557395, value=montreal
3 row(s) in 0.0110 seconds
hbase(main):007:0> scan 'customer',{LIMIT=>1}
ROW                       COLUMN+CELL
 2                        column=addr:address, timestamp=1600927553710, value=baohua
1 row(s) in 0.0140 seconds

hbase(main):008:0> scan 'customer',{COLUMNS=>'addr:city'}
ROW                       COLUMN+CELL
 jsmith                   column=addr:city, timestamp=1600925557395, value=montreal
1 row(s) in 0.0090 seconds

9.5获取数据：get

get用于获取行的所有单元或者某个指定的单元
get '表名称'，'行键',{COLUMN=>['列族名1','列族名2'...],参数名=>参数值...}
get '表名称'，'行键',{COLUMN=>['列键1','列键2'...],参数名=>参数值...}

--获取数据
hbase(main):095:0> get 'customer','2',{COLUMN=>'addr:address'}
COLUMN                          CELL
 addr:address                   timestamp=1600927647563, value=baohua
1 hbase(main):097:0> get 'customer','1001','addr:address'
COLUMN                          CELL
 addr:address                   timestamp=1600937534433, value=ahha
1 row(s) in 0.0120 seconds
(s) in 0.0070 seconds
--修改版本
alter 'customer',NAME=>'ORDER',VERSION=>5
--

9.6删除数据：delete

delete '表名称','行键','列键'
deleteall '表名称','行键'

9.7修改表：alter

使用alter可为表增加或者修改列族
alter '表名称',参数名=>参数值,...
hbase(main):100:0> alter 'customer',NAME=>'ORDER',VERSION=>5
Unknown argument ignored for column family ORDER: 1.8.7
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 1.9050 seconds

9.8删除表drop

HBase表分为两个状态：ENABLED 和DISABLED

--使用disable将表置为不可用状态
disable 'customer'
--使用enable将表置为可用状态
enable 'customer'

当表ENABLED状态时，会被禁止删除。所有需要先将表置为DISABLED状态才能删除

disable 'customer'
--删除
drop 'customer'

用户权限：
    user_permission ['表名' ...]
    grant '用户名','RWXCA'
表：
     增：create '表名',{NAME=>'列簇名'},{NAME=>'列簇名'}...
     删：disable '表名' ————> drop '表名'
     改：snapshot '表名','镜像名'
            clone_snapshot  '镜像名','新表名'
            delete_snapshot  '镜像名'
     查：list
 行：put的时候：put '表名','行键','列簇名:列名','值'[,时间戳]
         可以单独删行，行内数据全部删除
  列簇：
        增：alter '表名',NAME=>'列簇名'
        删：......                           ，METHOD='delete'
        改：先加，后删
        查：get '表名','行键','列簇名'
  列：
  cell：值+时间戳

获取用户权限需要改配置文件

 <property>
         <name>hbase.security.authrization</name>
         <value>true</value>
  </property>
  <property>
<name>hbase.coprocessor.master.classes</name>
<value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
<name>hbase.coprocessor.region.classes</name>
<value>org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
<name>hbase.superuser</name>
<value>root</value>
</property>
HBase介绍和基础架构
Imflash的博客
09-22 815
文章目录1、HBase基本介绍简介HBase的发展历程2、HBase与Hadoop的关系1、HDFS2、HBase3、RDBMS与HBase的对比1、关系型数据库2、HBase4、HBase特征简要1）海量存储2）列式存储3）极易扩展4）高并发5）稀疏5、HBase的基础架构1、HMaster2、RegionServer 1、HBase基本介绍 简介 hbase是bigtable的开源java版本...
HBase的基础知识总结
weixin_43952215的博客
09-07 455
概念: Hbase是建立在Hadoop HDFS之上, 提供高可靠性, 高性能, 列存储, 可伸缩, 实时读写的nosql数据库 只支持通过主键 rowkey来检索数据 不支持SQL语句的查询, 不支持join等复杂查询, 不支持复杂的事务 支持的数据类型byte[] HBase, Hadoop, RDBMS三者之间的对比 (1) hbase依赖于Hadoop HDFS, 紧耦合依赖关系, 除此之外, hbase还依赖于zookeeper, 用于存储一些元数据. (2) Hbase不支持事务,..
Hbase shell详情
weixin_34354945的博客
03-08 241
HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase 之后,用户可...
Apache Hbase
qq_36752007的博客
01-19 193
Hbase 概述 Hbase是一个基于Hadoop之上的数据库服务，该数据库是一个分布式、可扩展的大的数据仓库。当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™（HDFS虽然可以存储海量数据，但是对数据的管理粒度比较粗糙，只支持对文件的上传下载，并不支持对文件内容行记录级别的修改）。Apache HBase是一个开源，分布式，版本化，非关系型数据库，模仿了谷歌的Bigt...
Apache HBase
ZERO的博客
06-03 792
对Apache HBase 进行的简单分析和学习。
基于Java和Shell语言的Apache HBase事务处理设计源码
最新发布
10-05
在当今的大数据处理领域，Apache HBase作为一个开源的非关系型分布式数据库，被广泛应用于处理大规模数据集。随着业务需求的日益复杂化，对HBase进行事务处理的能力显得尤为重要。本项目旨在实现Apache HBase的事务...
基于Apache HBase的CSV数据批量导入与操作工具.zip
09-08
本项目是一个基于Apache HBase的工具，旨在从CSV文件中批量导入数据到HBase数据库，并提供基本的数据操作示例。HBase是一个分布式、可扩展的大数据存储系统，适用于处理海量数据。本项目利用HBase的强大功能，实现了...
深入理解Apache HBase：基础、模型与架构
“数据模型”章节深入探讨了HBase的物理和逻辑存储方式。它涵盖了行、列族、列限定符和行版本控制的概念。理解这些概念对于设计高效的数据存储至关重要。 在“架构”部分，读者将了解到集群中的主要组件，如...
Hbase 的shell基本操作
03-21
下面是基于标题“Hbase的shell基本操作”和描述“hadoop集群环境下hbase的shell基本操作命令”，结合给定的部分内容，所生成的详细知识点： 1. 进入HBase命令行： 通过命令`hbase shell`可以进入HBase的命令行界面...
Apache HBase 架构
大数据流浪法师的学习笔记与分享
12-17 169
HBase架构图的理解 Client 包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。 Zookeeper 保证任何时候，集群中只有一个master 存贮所有Region的寻址入口 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master 存储Hbase的schema,包括...
HBase（一）之基础介绍
子清的博客
09-24 352
文章目录1.NoSQL简介1.1什么是NoSQL1.2为什么使用NoSQL1.3NoSQL的特点1.4NoSQL基本概念1.5NoSQL分类1.6NoSQL和BI、大数据的关系2.HBase介绍2.1HBase概述2.2HBase发展历史2.3HBase用户群体2.4HBase应用场景2.5Apache HBase生态圈2.6HBase架构2.7HBase数据管理2.8HBase架构特点 1.NoSQL简介 1.1什么是NoSQL NoSQL：not only SQL，非关系型数据库 NoSQL是一个通用术
Apache HBase(一)
杀神lwz的博客
03-09 889
HBase使用与Bigtable非常相似的数据模型。用户将数据行存储在带标签的表中。数据行具有可排序的键和任意数量的列。该表存储稀疏，因此如果用户喜欢，同一表中的行可以具有疯狂变化的列。HBase 的设计理念依据Google的BigTable论文，论文中对于数据模型的首句介绍。映射中的每个值都是一个未解释的字节数组。Apache HBase™是以hdfs为数据存储的，一种。指代非关系型数据库的key-Value结构。稀疏的、分布式的、持久的。稀疏、分布式、多维、排序。的NoSQL数据库。
Hbase入门笔记
技术人生
04-06 494
在我学习Hbase的时候有几个概念需要重点理解一下，列出4个基础概念如下图所示： Column Family的概念 Column Family又叫列族，Hbase通过列族划分数据的存储，列族下面可以包含任意多的列，实现灵活的数据存取。刚接触的时候，理解起来有点吃力。我想到了一个非常类似的概念，理解起来就非常容易了。那就是家族的概念，我们知道一个家族是由于很多个的家庭组成的。列族也类似，...
大数据（027）HBASE【Hbase 综述】
张--小涛涛
11-04 680
HADOOP生态系统 其中： Zookeeper：分布式协作服务组件，管理Hadoop相关组件 Flume：日志收集工具 Sqoop：关系型数据库ETL工具【ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）
HBase 基础知识
遁入空门
04-20 702
x百变之星从v
Apache HBase介绍
try to do
10-15 872
超级详细，且行文结构很好的文章 一条数据的HBase之旅，简明HBase入门教程-开篇 Hbase技术详细学习笔记
HBase基础知识
朱金华的专栏
01-17 635
HBase是一个高可靠，高性能，面向列，可伸缩的分布式存储数据库，设计目标是用来解决关系型数据库在处理海量存储时的限制性。 1 架构 HBase是分布式系统，所以分布式系统中的Master与Slave/Worker时少不了的，在这里Master叫HMaster，Worker在这里叫HRegionServer。 1.1 HRegionServer RegionServer是HBase
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值