hbase读写流程

最新推荐文章于 2024-11-11 20:47:17 发布

全淦工程师

最新推荐文章于 2024-11-11 20:47:17 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

文章标签： hbase

本文链接：https://blog.youkuaiyun.com/weixin_44677254/article/details/124473168

本文概述了HBase写入数据的详细步骤，包括元数据查找、WAL与Memstore操作，以及读取流程中的数据查询路径。同时介绍了MemstoreFlush触发条件、StoreFileCompaction的不同类型和RegionSplit的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.hbase写数据流程，hbase写比读还快
先找zookeeper中meta表的元数据信息，再找到rgionserver节点先写wal，把wal追加到最后一次的wal中，但不同步，再写memstore，若wal写失败，则回滚memstore
2.memstore flush
regionserver达到堆内存的40%,或者单个region大小达到128M,或者HLog大小达到限制值
3.hbase读流程
客户端先访问zookeeper，获取hbase:meta表位于哪个regionserver，分别在读缓存，memstore，storeFile中查询目标数据，返回时间戳字段最新的数据
4.storeFile compaction
Minor Compaction：会将临近的若干个较小的HFile合并成一个较大的HFile，但不会清理过期和删除的数据，Major Compaction会将一个Store下的所有HFile合并成一个较大的HFile，并且会清理掉过期和删除的数据。
5.region split
根据storeFile的大小和数量切分

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

全淦工程师

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

HBase架构、读写数据流程、MemStore刷写时机、StoreFile Compaction合并、Region Split

DaDiNiWangGe的博客

02-22

640

RegionServer 架构 1）StoreFile 保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。 2）MemStore 写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写...

【HBase-读写流程】HBase的读写流程与内部执行机制

weixin_53543905的博客

04-12

2440

1、客户端发起写入数据的请求，然后首先要连接 zookeeper，通过 zookeeper 去找到 HBase 中的 meta 文件对应的 region 所对应的 regionserver 的地址，连接 meta 文件所在的 regionserver，通过要写入数据的 rowkey，找到 rowkey 对应的 region（底层是根据 region 的范围去寻找的），然后找到 region 对应的 regionserver 的地址。

参与评论您还未登录，请先登录后发表或查看评论

Hbase的读写流程

lijian972的博客

04-17

6576

查看hbase基本介绍的参考hbase的基本介绍和表模型 1.habse的逻辑结构 2.habse的物理结构 3.hbase的集群架构主节点HMaster的作用：管理众多从节点用于分配region给从节点负责元数据管理操作从节点HRegionserver的作用：管理众多从节点用于分配region给从节点负责元数据管理操作 Hbase集群中可以有多个Hmaster（一主多备）和多个HRegionserver组成。一个HRegionserver由一个HLog和多个Region组成

图文详解 HBase 的读写流程

热门推荐

Shockang的博客

08-08

3万+

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文请结合我的这篇博客来理解本文：一篇文章搞懂 HBase 的内部原理读操作首先从 ZooKeeper 找到 meta 表的 region 位置，然后读取 hbase:meta 表中的数据， hbase:meta 表中存储了用户表的 region 信息根据要查询的 namespace 、表名和 r

HBase系列(二)：HBase架构及读写流程

little prince，blue coder

07-20

1万+

本篇博文从分析HBase架构开始，首先从架构中各个组成部分开始，接着从HBase写入过程角度入手，分析HFile的Compaction合并、Region的Split分割过程及触发机制。架构分析 HBase...

Hbase读写流程

luzhensmart的专栏

01-26

335

一、hbase的读操作：　　ZooKeeper---meta--regionserver--region--memstore--storefile 　　1、首先从zookerper找到meta表的region的位置，然后读取meta表中的数据。而meta中又存储了用户表的region信息　　2、根据namespace、表名和rowkey根据meta表中的数据找到写入数据对于的region信息　　3、然后找到对于的regionserver 　　4、查找对应的region 　　5、先从Memstore找数

HBase读写流程

ThreeAspects的博客

02-08

615

HBase读写流程HBase 写流程HBase读流程 HBase 写流程插入一条数据到某个表，因为HBase通过ZooKeeper协调，Client 首先连接ZooKeeper，从ZooKeeper中获取表region相关信息。根据要插入的rowkey，获取指定的RegionServer信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。当得到了需要...

【大数据学习 | HBASE】hbase的读数据流程与hbase读取数据

最新发布

2301_80912559的博客

11-11

2310

一句话：查询数据的时候将对其进行哈希处理，然后与哈希地图进行比对，如果哈希表取到的值为空，说明storeFile没有该要查询的数据，如果哈希表找到的值不为空，也不一定存在要查询的数据。存储在hdfs中的hbase文件，这个文件中会存在hbase中的数据以kv类型显示，同时还会存在hbase的。，会以64Kb为大小进行存储，如果数据过期了先清理value的数据，而索引等数据和元数据信息不会清理出去。，包括整个hfile文件的索引大小，描述，k和v的均匀长度，文件中包含的。在巨大的数据面前可以进行高效的数据。

HBase的读写流程

qq_34341930的博客

03-25

3605

HBase读数据流程如图3所示图3所示 HBase读数据流程 1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； 2）根据namespace、表名和rowkey在meta表中找到对应的region信息； 3）找到这个region对应的regionserver； 4）查找对应的regi...

HBase读写流程 & 模块协作

呼呼的小窝

07-21

1053

HBase写流程假如说我们要插入一条数据到某个表里面，会经历的过程如下图：概述 Client会先访问zookeeper，得到对应的RegionServer地址 Client对RegionServer发起写请求，RegionServer接受数据写入内存当MemStore的大小达到一定的值后，flush到StoreFile并存储到HDFS 详细流程 Client首先会去访问Z...

HBase 读写流程

程序员学习圈

09-17

662

1.读流程： • Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； • 根据namespace、表名和rowkey在meta表中找到对应的region信息； • 找到这个region对应的regionserver； • 查找对应的region； ...

HBase --- 读写流程（一）

04stone37

08-23

698

整体流程读写流程主要分为两大部分： Client从MetaTable路由到Region所在的Region Server; Client直接与对应的Region Server进行交互；　　　　路由表MetaTable 　　MetaTable存储Region与Region Server的对应关系，其结构如下所示：路由表的获取时机　　Client 首次读写时会首先从Zoo...

hdfs和HBASE读写流程

09-25

HDFS (Hadoop Distributed File System) 和 HBase 是 Apache Hadoop 生态系统中的两个重要组件，它们在分布式数据存储和处理中有各自的角色。 HDFS 读写流程大致如下： 1. **客户端发起请求**：用户通过 HDFS API 向 NameNode 发出文件操作请求（如读取或写入），NameNode 负责全局文件系统的元数据管理。 2. **元数据查询**：NameNode 接收请求后，验证权限并返回文件块的位置信息给客户端。 3. **数据定位**：客户端根据 NameNode 提供的信息找到 DataNode 的地址列表。 4. **数据传输**：客户端将数据分片（Block）发送到相应的 DataNode，并记录副本数以保证数据冗余。 5. **DataNode 数据接收和处理**：当 DataNode 收到数据后，将其写入磁盘并更新自身的块列表。 6. **读取过程**：如果需要读取数据，客户端同样先向 NameNode 查询文件位置，然后从 DataNode 获取数据。 HBase 的读写流程： 1. **客户端连接**：客户端通过 Java API 或其他客户端库连接到 ZooKeeper 集群获取 HBase Master 的地址。 2. **表和行键查询**：客户端将表名、行键发送到 Master，Master 返回 RegionServer 的位置。 3. **RegionServer定位**：客户端找到负责该 Region 的 RegionServer。 4. **数据读写**：对于写入操作，客户端将请求发送到 RegionServer，RegionServer 将数据写入 MemStore，之后可能会触发 Compaction 过程，将 MemStore 中的数据刷入 HFile 到硬盘；读取操作则直接从 HFile 中查找数据。 5. **结果返回**：读写完成后，结果通过网络返回给客户端。