Hbase架构详细描述，Hbase工作流程

最新推荐文章于 2024-11-14 11:51:44 发布
原创 最新推荐文章于 2024-11-14 11:51:44 发布 · 704 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了HBase的架构，包括HMaster和HRegionServer的角色和职责。HMaster负责区域分配、负载均衡，而HRegionServer处理数据读写。文章还概述了HBase的工作流程，包括写入时的预写日志和数据文件处理，以及读取过程中的Meta表查询和数据查找。

1.Hbase架构详细描述

Hbase的架构如下图所示（图片来自于网上）

 

           

在上图中，主要出现的有HMaster和HRegionServer（注意HRegionServer不止两台，后面用的省略号...表示）（其余的Hadoop和Zookeepr在之前大数据系列整理了）。在上一篇我们搭建集群启动Hbase之后，我们查看了各个主机的进程jps，发现相比之前，确实多了HMaster（s10），和HRegionServer(s10,s11,s12)两个进程,其中我们在hbase/conf/regionservers目录下配置了s10,s11,s12三台主机，因此在开启Hbase的时候这三个主机会多出HRegionServer的进程，而我们把Hadoop的namenode节点s10(由于节点只有3台，所以为了演示效果把s10也配成了HRegionServer，一般情况下节点够的话不需要配置s10)配成了HMaster节点，所以在启动的时候s10上多了两个进程，分别是HMaster和HRegionServer。

                     

在Hbase集群中，这两类节点分别负责不同的任务。其关系遵从master-slave主从结构

HMaster节点主要负责：

a.负责指派region给RegionServer.通过zk获得task的帮助<

最低0.47元/天 解锁文章
xiaoyaGrace
关注
如何封装一个线程安全、可复用的 HBase 查询模板
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
05-02 12万+
本文探讨了如何封装一个线程安全、可复用的 HBase 查询模板。通过引入基于 AtomicReference 的连接懒加载机制和函数式接口封装查询执行逻辑，本文提供了一种高效的 HBase 查询解决方案。文章详细阐述了 HBase 连接池的实现、查询模板的设计与优化，以及如何在实际业务中应用这些技术。通过完整的案例演示，本文帮助开发者解决 HBase 查询中的常见问题，提高系统性能和可维护性。
hbase进阶操作——读流程与写流程介绍
张小鱼的博客
04-18 1732
本文主要介绍hbase的写和读流程，以及zookeeper在客户端查看hbase的meta内容。本文案例仅供参考。flash +表即可以将hbase的内容写入，不写入数据还是在内存当中以上就是hbase的进阶内容，如有问题、建议，请您在评论区留言💬哦。
【HBase-读写流程】HBase的读写流程与内部执行机制
weixin_53543905的博客
04-12 2548
1、客户端发起写入数据的请求，然后首先要连接 zookeeper，通过 zookeeper 去找到 HBase 中的 meta 文件对应的 region 所对应的 regionserver 的地址，连接 meta 文件所在的 regionserver，通过要写入数据的 rowkey，找到 rowkey 对应的 region（底层是根据 region 的范围去寻找的），然后找到 region 对应的 regionserver 的地址。
HBASE架构和原理解析
12-03
本文档图文并茂地详细的描述了HBASE列式数据的架构和原理，是HBASE入门不错的的资料
HBase 工作机制及读写流程
BigData_Hubert的博客
09-04 1227
HBase 一图看懂 HBase 架构 HBase 最常用的shell操作 HBase 工作机制及读写流程 HBase 工作机制及读写流程HBase前言HBase 工作机制Master工作机制Master 上线Master下线RegionServer 工作机制Region 管理region server上线region server下线HBase 读写流程HBase 读流程HBase 写流程flush 机制Compact合并操作Region Split操作 前言 本篇博客，为大家梳理 HBase 工
HBase工作流程及存储结构
程研板的博客
02-05 681
所用的版本：hbase-1.2.0-cdh5.15.1 目录一.meta表二.HBase工作流程1.读的流程2.写的流程三.物理存储结构四.参考文章 一.meta表 zookeeper记录了保存meta表的机器是hadoop000： [zk: localhost:2181(CONNECTED) 4] get /hbase/meta-region-server �regionserver:60020��!���*�PBUF hadoop000�������. cZxid = 0x15000007a.
HBase回顾一：组成、架构、工作流程
ChanZany的博客
06-17 513
HBase的组成 首先HBase 的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 我们可以想象一张超级超级大的表，可能有几千列几亿行，这个数据量十分庞大，为了进行分布式存储和处理，所以我们要把表进行拆分。 根据拆分的逻辑就有了HBase的组成： 大表的拆分 点击这里看原图 也正是如上图所示的列拆分，所以HBase是面向列存储的数据库 HBase 的组件 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VEt
HBase理论_HBase架构组件介绍
最新发布
Matrix70的博客
11-14 1874
hbase master采用主备架构，master与regionserver采用主从架构（即一个HMaster会控制多个regionserver），HBase由zookeeper、HMaster、HRegionServer三部分组成，底层数据存储在HDFS上（存储到HDFS中的是Hfile文件）。HBase引入zookeeper，避免HMaster单点问题，HMaster主要负责table和region的管理工作：1 ）管理用户的读写操作。
HBase架构、数据存储结构及工作原理分析
qq_38497133的博客
07-22 1542
文章目录一、HBase介绍二、HBase架构1.主架构(1).Client(2).Zookeeper(3).HMaster()4.HRegionServer(5).HDFS2.其他组成部分(1).Write-Ahead Logs(2).HRegion(3).Store(4).MemStore(5).HFile三、HBase数据存储结构1.RowKey 一、HBase介绍 定义：HBase是一个面向列存储的数据库，它是一个分布式的hash map，并能够利用HDFS的可靠性来做存储功能。 特点 数据访问速
HBASE的详细介绍流程
山海
08-08 346
HBASE 架构图 Hbase基本组件说明： Client： 包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。 HMaster： 是hbase集群的主节点，可以配置多个，用来实现HA 为RegionServer分配region 负责RegionServer的负载均衡 发现失效的RegionServer并重新分配其上的region RegionSer...
HBase的工作原理及使用介绍
10-25
里面包含HBase非关系数据库的工作原理,使用它的优点,缺点.
Hbase架构详解
麦田里的守望者-蒋中洲【相信相信的力量】
01-07 1637
架构组成 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下： 在物理上，HBase由master/slave类型体系结构中的三种服务器组成。RegionServe...
HBase 系列（二）—— HBase 系统架构及数据结构
weixin_30362083的博客
08-24 501
一、基本概念 一个典型的 Hbase Table 表如下： 1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据，只有以下三种方式： 通过指定的 Row Key 进行访问； 通过 Row Key 的 range 进行访问，即访问指定范围内的行； 进行全表扫描。 Row Key 可以是任意字符串，存储时数据按照 Row...
hbase 结构及工作过程
iteye_18761的博客
06-04 169
最近关注 Hadoop ，因此 也顺便关注了一下 Hadoop相关的项目 。 HBASE就是基于 Hadoop的一个开源项目，也是对 Google的 BigTable的一种实现。        BigTable是什么？ Google的 Paper对其作了充分的说明。字面上看就是一张大表，其实和我们想象的传统数据 库的表还是有些差别的。松散数据可以说是介于 Map...
HBase原理流程
First_____的博客
06-27 348
HBase架构介绍: zookeeper: 可以帮助master分解压力，对数据的读写可以不经过master,但对regoin的分配还有其他一些元数据时, 是必须需要master的. Master: 主要用于对元数据的修改; HLog: 对数据丶元数据等的操作, 都会先记录在HLog当中, 一般情况是不会访问的,但当机器故障,导致内存中的数据没有flush出去, 这时候就会读取Hlog恢复数据. regoin: 对数据进行横向切割,切成一个个的regoin,便于数据的查找等 store
HBase架构详解及读写流程
weixin_52953102的博客
03-23 724
HBase架构详解及读写流程
Hbase读写流程及架构
weixin_46580067的博客
06-12 752
有一个特殊的HBase目录表，叫做META table，保存了集群中各个region的位置。zookeeper中保存了这个meta table 的位置信息。当我们第一次访问HBase集群时，会做以下操作：1）客户端从zk中获取保存meta table的位置信息，知道meta table保存在了哪个region server，并在客户端缓存这个位置信息；2）client会查询这个保存meta table的特定的region server，查询meta table信息，在table中获取自己想要访问的row k
重温大数据---Hbase部署以及架构分析
LeoByte的编程驿站
11-24 3409
这篇文章主要介绍一下，Hbase是什么，能干什么，干的怎么样。以及Hbase的安装配置和调试等。总的来说Hbase在大数据的生态系统中占有很重要的位置，对于Hbase的学习还需要更加深入才行。对于大数据的内容我都建议多看看官方文档，以前我总觉得自己看不懂哪些高大上的，其实不然。
深入解析HBase架构设计及优化指南
- **项目中架构设计**: 指的是在真实的工作环境中如何将Hbase整合到大数据平台中，并根据业务需求和数据特性来设计合适的Hbase架构。这包括对表的设计、数据分区、数据复制、故障转移等进行合理规划。 - **相关问题...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值