1.HBase_工作原理

最新推荐文章于 2025-06-10 00:00:00 发布
原创 最新推荐文章于 2025-06-10 00:00:00 发布 · 581 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.HBase介绍

HBase是一种Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库。利用Hadoop HDFS存储HBase的数据文件,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为HBase分布式协同服务。主要用来存储非结构化和半结构化的松散数据。

2.HBase数据模型

 

RowKeyTimeStampColumn Family01Column Family02
nameagejob1job2
10001t1tom25enginermanager
10002t2lily22dancerdancer

Row Key:

  • 决定一行数据的唯一标识
  • RowKey是按照字典顺序排序的
  • Row key最多只能存储64k的字节数据

Column Family列族 & qualifier列：

  • HBase表中每列都归属于某个列族，列族必须作为表模式(schema) 定义的一部分预先给出。如create 'test','course'
  • 列名以列族作为前缀，每个列族都可以有多个列成员。如CF1:q1,CF2:qw
  • 权限控制、存储以及调优都是在列族层面进行
  • HBase把同一列族里面的数据存储在同一目录下，由几个文件保存

Timestamp时间戳：

  • HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
  • 时间戳的类型是64位整型。
  • 时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。
  • 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突， 就必须自己生成具有唯一性的时间戳。

Cell单元格：

  • 由行和列的坐标交叉决定；
  • 单元格是有版本的(由时间戳来作为版本)
  • 单元格的内容是未解析的字节数组Byte[]，cell中的数据是没有类型的，全部是字节码形式存储。
  • 由{row key,column(=<family> +<qualifier>)，version}唯一确定的单元。

3.HBase架构

Client

  • 包含访问HBase的接口并维护cache来加快对HBase的访问

Zookeeper

  • 保证任何时候，集群中只有一个master
  •  存贮所有Region的寻址入口。
  • 实时监控Region server的上线和下线信息。并实时通知Master
  • 存储HBase的schema和table元数据

Master

  • 为Region Server分配Region
  • 负责Region Server的负载均衡
  • 发现失效的Region Server并重新分配其上的Region
  • 管理用户对Table的增删改操作

RegionServer

  • Region server维护Region，处理对这些Region的IO请求
  • Region server负责切分在运行过程中变得过大的Region　

HLog(WAL log)

  • HLog文件就是一个普通的Hadoop Sequence File，Sequence File的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了Table和Region名字外，同时还包括Sequence Number和TimeStamp，TimeStamp是"写入时间"，Sequence Number的起始值为0，或者是最近一次存入文件系统中Sequence Number。
  • HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的KeyValue。

Region

  • Table中所有的行都按照Row Key的字典序进行排列
  • Table在行的方向上分割为多个Region
  • Region是按大小分割的，每个表开始只有一个Region，随着数据增多，Region不但增大。当增大到一个阈值时，Region就会等分两个新的Region，之后会有越来越多的Region。
  • Region是HBase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。
  • 一个HRegionServer管理多个HRegion。
  • 我们通过"Table + StartRowKey + RegionId"来确定HRegion。

Storefile

  • 一个Region由一个或多个Store组成，一个Store对应一个Column Family。
  • Store包括内存中的Memstore和HDFS上的Storefile。写操作先写入Memstore，当Memstore中的数据达到某个阈值，HRegionServer会启动FlashCache进程写入Storefile，每次写入形成单独的一个Storefile。
  • 当Storefile文件的数量增长到一定阈值后，系统会进行合并。在合并过程中进行版本合并和删除工作(majar)，形成更大的Storefile。
  • 当一个HRegion中所有Storefile的文件大小加起来超过一定阈值后，会把当前HRegion分割为两个，并由HMaster分配到相应的HRegionServer服务器，实现负载均衡。
  • 客户端检索数据，先在MemStore找，找不到再找Storefile。
  • HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元表示不同HRegion可以分布在不同的HRegion Server上。
  • HRegion由一个或者多个Store组成，每个Store保存一个Column Family。
  • 每个Strore又由一个MemStore和0至多个StoreFile组成。

4.HBase安装与配置

Apache HBase官网提供了默认配置说明、参考的配置实例。我们安装方式为完全分布式，且使用独立的ZooKeeper协同服务保持HA。在安装HBase之前确保已经安装好了ZooKeeper。

(1) 下载Apache HBase

从官网上面下载最新的二进制版本：hbase-1.2.6-bin.tar.gz，然后解压。

# 解压命令
tar -zxvf hbase-1.2.6-bin.tar.gz

# 配置环境变量
vi ~/.bash_profile
export HBASE_HOME=/home/hbase/hbase-1.2.6
export PATH=$PATH:$HBASE_HOME/bin

# 使用环境变量生效
source ~/.bash_profile

(2) 配置hbase-site.xml

编辑 $HBASE_HOME/conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>slave1,slave2,slave3</value>
    <description>The directory shared by RegionServers.
    </description>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hbase/zookeeper-data</value>
    <description>
        注意这里的zookeeper数据目录与hadoop ha的共用，也即要与zoo.cfg中配置的一致
    </description>
  </property>
  <property>
    <name>hbase.master</name>
    <value>master:60000</value>
  </property>
  <property>
    <name>hbase.master.maxclockskew</name> #时间同步允许的时间差
    <value>180000</value>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:8020/hbase</value>
    <description>这是RegionServers共享的目录,官网多次强调这个目录不要预先创建，
        hbase会自行创建，否则会做迁移操作，引发错误。
    </description>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    <description>分布式集群配置，这里要设置为true，如果是单节点的，则设置为false
      The mode the cluster will be in. Possible values are
      false: standalone and pseudo-distributed setups with managed ZooKeeper
      true: fully-distributed with unmanaged ZooKeeper Quorum (see hbase-env.sh)
    </description>
  </property>
</configuration>

(3）配置regionserver文件

编辑 $HBASE_HOME/conf/regionservers文件，输入要运行RegionServer的主机名

slave1
slave2
slave3

(4)配置backup-masters文件 (master备用节点)

HBase支持运行多个master节点，因此不会出现单点故障问题，但只能有一个活动的管理节点(active master)，其余为备用节点(backup master)。编辑$HBASE_HOME/conf/backup-masters文件进行配置备用管理节点的主机名

slave2

(5) 配置hbase-env.sh文件

编辑$HBASE_HOME/conf/hbase-env.sh配置环境变量。我们单独配置的zookeeper，所以将配置文件中HBASE_MANAGES_ZK 设置为false

export HBASE_MANAGES_ZK=false

(6) 启动HBase

使用$HBASE_HOME/bin/start-hbase.sh指令可以启动整个集群。为了更加深入了解HBase启动过程，我们对各个节点依次启动。经查看start-hbase.sh，里面的启动顺序如下：

if [ "$distMode" == 'false' ] 
then
  "$bin"/hbase-daemon.sh --config "${HBASE_CONF_DIR}" $commandToRun master $@
else
  "$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" $commandToRun zookeeper
  "$bin"/hbase-daemon.sh --config "${HBASE_CONF_DIR}" $commandToRun master 
  "$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" \
    --hosts "${HBASE_REGIONSERVERS}" $commandToRun regionserver
  "$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" \
    --hosts "${HBASE_BACKUP_MASTERS}" $commandToRun master-backup
fi

即：使用hbase-daemon.sh命令依次启动zookeeper、master、regionserver、master-backup。

因此，我们也按照这个顺序，在各个节点进行启动(确保Hadoop HDFS运行)

  • 启动zookeeper
zkServer.sh start &
  • 启动hadoop分布式集群
# 启动 journalnode(master,slave1,slave2,slave3)
hdfs journalnode &

# 启动 namenode active(master)
hdfs namenode &

# 启动 namenode standby(slave2)
hdfs namenode &

# 启动ZookeeperFailoverController(slave1,slave2)
hdfs zkfc &

# 启动 datanode(slave1,slave2,slave3)
hdfs datanode &
  • 启动hbase master(master)
hbase-daemon.sh start master &
  • 启动hbase regionserver(slave1,slave2,slave3)
hbase-daemon.sh start regionserver &
  • 启动hbase backup-master（slave2）
hbase-daemon.sh start master --backup &
  • HBase 测试使用
hbase shell

# 查看集群状态和节点数量
hbase(main):001:0> status
1 active master, 1 backup masters, 4 servers, 0 dead, 0.5000 average load

 

5.HBase优缺点

(1) Hbase的优点

  • 半结构化或非结构化数据：对于数据结构字段不能确定的数据适合用HBase，因为HBase支持动态添加列。
  • 记录很稀疏：RDBMS每行数据的列是固定的，出现某列值为null就会浪费空间。HBase中值为null的列不会被存储，这样既节省了空间又提高了读性能。
  • 多版本号数据：依据Row key和Column key定位到的Value能够有随意数量的版本号值，因此对于需要存储变动历史记录的数据，用HBase是很方便的。
  • 高可用支持瞬间高写入量： WAL(记录日志)解决高可用，支持PB级数据，put性能高。适用于插入比查询操作更频繁的情况。比如，对于历史记录表和日志文件。
  • 业务场景简单： 不需要太复杂的操作，如：交叉列，交叉表，事务，连接等。

(2) Hbase的缺点

  • 单一RowKey固有的局限性决定了它不可能有效地支持多条件查询
  • 不适合于大范围扫描查询
  • 不直接支持 SQL 的语句查询
HBase工作原理学习
阳光奶爸的博客
07-20 1万+
介绍Hadoop 2.0生态圈中的HBase分布式列式存储数据库的相关知识，包括HBase的基本介绍、体系结构、各部分功能、数据模型和读写流程等内容。
HBase工作原理
huahuaxiaoshao的博客
04-23 968
1 HBase概述 （1）HBase的定义       HBase：Hadoop Database，是一个高可靠、高性能、面向列、可伸缩、实时读写的分布式数据库。利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。       ① 高可靠：数据高可靠性：HB...
HBase学习总结(4)：HBase的工作原理
周兆熊的专栏
07-17 3669
一、切分和分配大表 HBase中的表是由行和列组成的。HBase中的表可能达到数十亿行和数百万列。每个表的大小可能达到TB级，有时甚至PB级。这些表会切分成小一点儿的数据单位，然后分配到多台服务器上。这些小一点儿的数据单位叫region。托管region的服务器叫RegionServer。一张表由多个小一点的region组成，如图1所示。 图1 多个小一点的region组成一张表 Regi
深入理解HBase架构与数据模型 —— 从原理到源码的专业解读
最新发布
IT技术学习与工作笔记分享
06-10 615
HBase 作为大数据存储的基石，具备极强的可扩展性与灵活性。深入理解其架构与原理，对于系统优化、故障排查和架构设计至关重要。
HBase的重要工作原理
胜利的曙光的博客
12-03 1426
HBase的数据存取流程、MemStore的溢写、StoreFile的合并、Split分列、Region管理、Master工作机制等原理整理。
hbase工作 架构原理
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
12-17 1793
HBase BlockCache机制讲解&amp;amp;amp;源码分析 https://blog.csdn.net/bryce123phy/article/details/62051927
Hbase的工作原理
yff_144的博客
02-28 402
 HBase逻辑上的表可能会被划分成多个HRegion，然后存储到HRegion Server群中。HBase Master Server中存储的是从数据到HRegion Server的映射。首先client通过hbase的rpc机制与hmaster和hregion server通信进行管理类的操作和数据的读写操作。HBase中所有的服务器都是通过ZooKeeper来进行协调，HRegionSer...
HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce
09-24
通过学习这份资料，你可以快速了解这些组件的基本工作原理和相互之间的协同作用，为进一步深入学习和应用Hadoop生态系统打下坚实基础。在实际应用中，这些技术通常结合使用，以解决大数据环境下的存储、计算和分析...
intel-Hadoop.rar_hadoop_hbase
09-23
标题中的“intel-Hadoop.rar_hadoop_hbase”表明这是一个关于Intel优化过的Hadoop发行版，其中包含了对HBase的深入探讨。Hadoop是分布式计算框架，而HBase是基于Hadoop的数据存储系统，两者在大数据处理领域都有着...
hbase_常用配置参数_以及学习笔记讲解_以及各种原理图.zip
01-19
1. **HBase架构原理**： HBase采用列式存储方式，数据按照行键（Row Key）进行排序。每个表被划分为多个Region，每个Region由一个Region Server负责管理。Region是表的逻辑分区，随着数据增长，Region会自动分裂以...
apache_hbase_reference_guide(官网).pdf
10-31
HBase的基本概念和原理 - **HBase的数据模型**包括行（Row）、列族（Column Family）、单元格（Cell）和版本（Version）。 - **HBase的存储结构**，分为概念视图和物理视图。概念视图指的是表、行、列族的逻辑结构...
HBase_SI_--_实现HBase_ACID的理论
03-09
本文将详细介绍HBase_SI的实现原理和技术特点。 #### 二、HBase_SI概述 HBase_SI是一种旨在为HBase提供ACID特性的框架。ACID即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)。...
HBase的工作原理及使用介绍
10-25
里面包含HBase非关系数据库的工作原理,使用它的优点,缺点.
HBase学习笔记（一）——HBase工作原理
u011047968的专栏
06-17 1751
类似 MySQL 或者 Oracle 关系型数据库，当用户表的数据达到几千万甚至几亿级别的时候，对单挑数据的检索将花费数秒甚至达到分钟级别。目前在海量数据下进行快速开发，并进行高效运行的需求越来越多，传统的关系型数据库似乎达到了瓶颈，怎么办？ 有的专家尝试将关系型数据库做成分布式数据库，把压力分摊到多个服务器上，但是，随之而来的问题则是很难保证原子性。原子性可是数据库最根本的 ACID 中的元素，如果没有了原子性，数据库就不可靠了。如果增加一些必要的操作，那么原子性是保证了，但是性能却大幅下降。专家们
HBase 原理
Gldwolf的博客
06-22 1265
1. HBase 底层原理 1.1 系统架构 1.1.1 Client 职责 1. HBase 有两张特殊的表： .META.: 记录了用户所有表拆分出来的 Region 映射信息，.META. 可以有多个 Region -ROOT-(新版中已去掉这一层): 记录了 .META. 表的 Region 信息，-ROOT- 只有一个 Region，无论如何都不会分裂 2. Client...
Hbase原理（底层原理，存储架构，寻址策略，读写流程，master和Regionserver的工作机制）
qichangjian的博客
03-05 1906
目录 1.hbase的底层逻辑架构 2.hbase的底层物理存储原理 3.hbase的寻址机制 4.hbase的读写过程 5.master和Regionserver的工作机制 1.hbase的底层逻辑架构 （1）新旧版本的hbase的架构区别 这是旧版本的hbase的架构图，一个regionserver中只有一个Hlog。 这一张是新版本的图，每一个regionserver中可以有30个Hlog...
Hbase原理介绍
qq_28174791的博客
03-15 265
** Hbase原理介绍 ** 一、什么是HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。 HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统:Google运行MapRed...
HBase基本原理
坐禅小和尚的专栏
10-18 6199
HBase以表的形式存储数据。与关系型数据库一样，在HBase中，表由行和列组成。与关系型数据库不同的是，HBase还有“列簇”（column family）的概念。一个表有若干“列簇”组成，每一个“列簇”包含若干列（column）。与此同时，表中的每一个cell都是有时间戳的。因此我们可以把其想象成一个三维数据库。除了行和列之外，还有一个时间维度，每一个单元格（cell）的不同版本都被保存。
HBase原理和设计
未来在这儿的专栏
01-25 1117
HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外提供数据的存储和读取服务。而从应用的角度来说，HBase与一般的数据库又有所区别，HBase本身的存取接口相当简单，不支持复杂的数据存取，更不支持SQL等结构化的查询语言；
1.简述Map Reduce工作原理 2.简述Spark工作原理 1.简述HBase工作原理的理解 2.简述Hive工作原理的理解
06-02
好的，我会依次回答你的问题，不会透露你的要求。 1. MapReduce工作原理： MapReduce是一种分布式计算框架，可以处理大规模数据集，主要用于数据的批量处理。它的工作原理可以分为两个阶段：Map阶段和Reduce阶段。 在Map阶段，MapReduce将输入数据集分割成若干个小数据块，每个数据块由一个Map任务处理，Map任务对每个数据块进行处理并输出一系列键值对。这些键值对作为中间结果，会被存储在分布式文件系统中，供Reduce阶段使用。 在Reduce阶段，MapReduce将Map阶段输出的键值对根据键进行分组，每个组由一个Reduce任务进行处理。Reduce任务对每个组进行处理，并输出最终的结果。 2. Spark工作原理： Spark是一种快速、通用的大数据处理引擎，它支持多种数据处理模式，包括批处理、交互式查询、流处理等。Spark的工作原理可以分为三个阶段：数据的输入、数据的转换和数据的输出。 在数据的输入阶段，Spark从外部数据源（例如Hadoop HDFS、Apache Cassandra等）读取数据，并将数据分割成多个数据块，存储在内存中。 在数据的转换阶段，Spark通过各种转换算子（例如map、filter、reduce等）对数据进行转换处理，生成新的数据集。这些新的数据集可以被进一步转换或输出。 在数据的输出阶段，Spark将转换后的数据集写入外部数据源，或将结果返回给应用程序。 1. HBase工作原理： HBase是一种列式存储数据库，它基于Hadoop分布式文件系统（HDFS）进行存储。HBase的工作原理可以分为三个层次：RegionServer层、HMaster层和ZooKeeper层。 在RegionServer层，HBase将数据划分成多个区域（Region），每个区域由一个RegionServer进行管理。当数据需要写入或读取时，客户端会与对应的RegionServer进行交互。 在HMaster层，HBase将RegionServer进行管理，并负责对Region进行负载均衡和分裂处理。 在ZooKeeper层，HBase使用ZooKeeper进行协调和管理，例如协调HMaster和RegionServer之间的通信。 2. Hive工作原理： Hive是一种基于Hadoop的数据仓库工具，它可以将结构化数据映射到Hadoop HDFS上，并提供类SQL查询的接口。Hive的工作原理可以分为三个步骤：数据的导入、数据的存储和数据的查询。 在数据的导入阶段，Hive将外部数据导入到Hadoop HDFS上，并将数据进行格式化和存储，生成Hive表。 在数据的存储阶段，Hive将数据存储在Hadoop HDFS上，同时生成元数据信息，包括表结构、列信息、分区信息等。 在数据的查询阶段，Hive通过类SQL查询语言对数据进行查询和分析，生成查询结果，并将结果返回给用户。查询语言会被转化为MapReduce任务，在Hadoop集群上执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值