hbase中两张特殊的表,-ROOT-和.META.

最新推荐文章于 2021-12-14 19:54:19 发布
最新推荐文章于 2021-12-14 19:54:19 发布
阅读量9.7k 收藏 1
点赞数 1
分类专栏： hbase 文章标签： hbase -ROOT- .META. hbase里两张特殊的表 hbase树索引
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010670689/article/details/32997807
版权
深入探讨HBase中数据的存储方式，包括Table分裂成splits和regions的过程，以及如何通过Zookeeper定位数据位置。重点阐述了特殊Table .META.和-ROOT-的作用，以及Client访问流程和缓存策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当Table随着记录数不断增加而变大后，会逐渐分裂成多份splits，成为regions，一个region由[startkey,endkey)表示，不同的region会被Master分配给相应的RegionServer进行管理：

3.3 -ROOT- && .META. Table

HBase中有两张特殊的Table，-ROOT-和.META.

Ø  .META.：记录了用户表的Region信息，.META.可以有多个regoin

Ø  -ROOT-：记录了.META.表的Region信息，-ROOT-只有一个region

Ø  Zookeeper中记录了-ROOT-表的location

Client访问用户数据之前需要首先访问zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问，中间需要多次网络操作，不过client端会做cache缓存。

-ROOT-表和.META.表结构详解
神奕的专栏
08-15 2379
在《HBase技术简介》中我们知道，HBase中有两个特殊的表：-ROOT-和.META.。由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示： 注意两点： Client端在访问数据的过程中并没有涉及到Master节点，也就是说HBase日常的数据操作并不需要Master，不会造成Master的负担
Hbase的.META.和-ROOT-表的访问过程
sdad1243f的博客
04-16 494
〇.用途 （1）Clinat进行业务操作时，就必须通过访问RegionServer中的某个Region完成。而想找到对应的RegionServer就必须通过HBase的两张内置表 .Meta. 和 -ROOT- 。这两张表记录着RegionServer中每个Region的分分布情况和详细信息。 （2） .Meta.:具体记录RegionServer中Region的详细信息 -ROOT-:只记录了Meta表中的Region信息 （3） Client去访问某个Region时，需要先通过ZK管理的-ROOT表去找
HBase中的Client如何路由到正确的RegionServer
Make Progress Everyday!
04-13 2423
HBase中的Client如何路由到正确的RegionServerPosted onJuly 27, 2010byHarry_Ding<br />在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServe
HBase读写数据的详细流程及ROOT表/META表介绍
SHZHJ2000的博客
03-07 444
一、HBase读数据流程 　　1.Client访问Zookeeper，从ZK获取-ROOT-表的位置信息，通过访问-ROOT-表获取.META.表的位置，然后确定数据所在的HRegion位置； 　　2.Client访问HRegion所在的HRegionServer，通过HRegionServer获取需要查找的数据； 　　3.Client到HRegion的中去查找数据，首先到MemS...
HBase -ROOT-和.META.表结构(region定位原理)
逸卿的专栏
09-19 3239
HBase -ROOT-和.META.表结构(region定位原理) [url=http://auto.315che.com/dazhongcc/qa24229143-1.htm?agph=wh]咖姥[/url] [url=http://auto.315che.com/jingdianquanshun/qa24229610.htm]綘雕[/url] [url=http://auto.315...
HBase的写入流程、HBase的读取流程（HBase查询路由）、-root-表、.meta表 04
啊策策大数据社区
04-20 645
1. HBase的写入流程 client通过zk, 找到对应的hregionServer 数据会先写入到hlog和memStore中 memStore满了后,会flush到一个StoreFile. storeFile达到一定阀值(比如64M), 触发compact,会合并成一个大的storeFile, 同时进行版本合并和数据删除 多个storeFile合并成一个StroeFile, 当这个St...
HBase中-ROOT-和.META.表
jiaotongqu6470的博客
10-14 660
-ROOT-和.META.表，它们是HBase的两张内置表，从存储结构和操作方法的角度来说，它们和其他HBase的表没有任何区别，你可以认为这就是两张普通的表，对于普通表的操作对它们都适用。它们与众不同的地方是HBase用它们来存贮一个重要的系统信息——Region的分布情况以及每个Region的详细信息。
05-Hbase安装部署及优化.pdf
06-02
Hbase中有两张特殊的系统表，即-ROOT-和.META.。-ROOT-记录了.META.表的Region信息，只有一个region；而.META.记录了用户表的Region信息，可以有多个region。Client访问用户数据之前需要首先访问Zookeeper，然后访问...
Hbase版本信息对比0.98.4-2.0.0
qq_44293181的博客
02-11 1856
Hbase版本信息对比0.98.4-2.0.0 目前大数据集群的Hbase主要版本为0.98.4，版本日期为2014.8.12。为了适应大数据的不断发展和更新换代，特此分享Hbase主要版本信息，为版本升级做准备。 版本信息 原始版本：0.98.4 版本日期：2014.8.12 第三方版本信息：HDP2.2.6 目标版本：2.0.0 版本日期：2018.5.4 第三方版本信息：CDH6.0.1 R...
HBase寻址机制及HMaster、RegionServer容错
大数据学习与分享的博客
07-07 539
HBase寻址机制 HBase提供了两张特殊的目录表-ROOT-和META表，-ROOT-表用来查询所有的META表中region位置。HBase设计中只有一个root region即root region从不进行切分，从而保证类似于B+树结构的三层查找结构： 第1层：zookeeper中包含root region位置信息的节点，如-ROOT-表在哪台regionserver上 第2层：从-ROOT-表中查找对应的meta region位置即.META.表所在位置 第3层：从META表中查找用户表对应re
HBase -ROOT-表和.META.表
人是有思想的芦苇
07-22 1665
官方文档：http://hbase.apache.org/book.html#arch.catalog
HBase -ROOT-和.META.表结构
张勤一
11-24 1392
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘
HBASE中的表结构
jackyrongvip的专栏
04-01 163
注意，原来HBASE中的表结构中，ROWKEY是可以重复的，代表同样一条记录： 表结构图： [img]https://thumbnail0.baidupcs.com/thumbnail/72d42d61ee0c774264fd394791a3c5c4?fid=1443225280-250528-567795081170770&time=1522540800&rt=sh&sign=FDTAER-...
hbase SCAN操作-ROOT- .META.
luyee2010的专栏
03-31 5188
hbase(main):015:0> scan '-ROOT-' ROW                                      COLUMN+CELL                                                                                                           .META.
hbase meta表的结构
weixin_34067980的博客
12-31 267
下面看下hbase:meta 表的结构，hbase:meta表中，保存了每个表的region地址，还有一些其他信息，例如region的名字，HRegionInfo,服务器的信息。hbase:meta表中每一行对应一个单一的region。例如我们现在创建一个表名叫"t"。hbase:meta中对应的行会像下面这个样子。 Row Column Family ...
HBase：Meta表详解
weixin_42241438的博客
12-14 6213
Meta的必要性： HBase一张表的数据是由多个Region构成，而这些Region是分布在整个集群上的RegionServer上的。那么客户端在做任何数据操作时，都要确定数据在哪些Region上，然后再根据Region和RegionServer的对应关系，去相应的RegionServer中读取数据。 hbase：meta就是专门用来存储和Region相关的信息，这里的hbase表示namespace，meta是系统表，因此用全局统一的命名空间； ...
HBASE系统表meta表结构
qq_42444621的博客
07-27 2249
Hbase Meta表基本介绍
JY_He的博客
04-01 7636
Hbase有一个叫做Meta的特殊的目录表，用于保存集群中regions的位置信息（region列表）。ZooKeeper存储着Meta表的位置。 Hbase Meta结构如下： 具体含义： rowKey:([table],[region start key],[region id]) column family：info column：regioninfo、server、se...
hbase获取.root表与.meta表
weixin_41948645的博客
07-22 489
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘这个过程。 在前面的文章“HBase存储架构”中我们已经讨论了HBase基本的存储架构。在此基础上我们引入两个
hbase中分区如何定位
最新发布
03-31
### HBase 分区定位原理 HBase 中的 Region 是分布式存储的核心单元，其定位机制依赖于两份特殊的数据表 `-ROOT-` 和 `.META.` 来完成。以下是关于 HBase 分区定位的具体实现方式： #### 1. **Region 的分布信息** HBase 使用两张内部表来记录和管理 Region 的位置信息： - **`.META.` 表**：这张表保存了所有用户表的 Region 信息及其所在的服务器地址。它是一个分布式表，可能分布在多个 RegionServer 上。 - **`-ROOT-` 表**：用于定位 `.META.` 表的位置。由于 `.META.` 可能会被拆分到多个 RegionServer 上，因此需要一个固定的入口来找到 `.META.` 的起始位置。 客户端在访问某个特定的 RowKey 数据之前，会依次查询这两张表以获取目标 Region 的具体位置[^3]。 --- #### 2. **具体的定位流程** 当客户端请求一条数据时，HBase 的 Region 定位过程如下： 1. **查找 `zookeeper` 获取 `-ROOT-` 地址** Zookeeper 存储了 `-ROOT-` 表当前所在 RegionServer 的地址。客户端首先连接 Zookeeper 并读取这一信息。 2. **查询 `-ROOT-` 表获取 `.META.` 地址** 利用第一步得到的 `-ROOT-` 表地址，客户端向对应的 RegionServer 发送请求，从而获得 `.META.` 表的相关区域信息。 3. **查询 `.META.` 表获取目标 Region 地址** 基于第二步的结果，客户端进一步查询 `.META.` 表，从中提取出目标 Region 的实际物理地址（即哪个 RegionServer 负责该 Region）。 4. **直接与目标 RegionServer 通信** 得知目标 Region 的确切位置后，客户端可以直接与其所属的 RegionServer 进行交互，完成最终的数据读写操作。 整个过程中，每一步都需要精确匹配相应的 Key Range，以便快速缩小范围并减少不必要的网络开销。 --- #### 3. **优化策略** 为了避免频繁地遍历上述三层结构带来的性能损耗，HBase 提供了一些缓存机制： - **Zookeeper 缓存**：本地维护一份最近使用的路径索引，减少重复查询次数。 - **Client-side Cache**：客户端会对已查找到的目标 Region 记录下来，在后续相同请求中优先利用这些缓存结果，而无需再次经历完整的定位链路。 这种设计显著提升了系统的响应速度，尤其是在高并发场景下表现尤为突出。 --- #### 4. **注意事项** 如果预先创建过多的小型 Regions，则可能导致以下问题： - 加剧 Master Server 的负担，因为它要负责协调大量小型 Regions 的分配工作； - 增加 `.META.` 表规模，进而拖慢整体定位效率[^1]。 针对这种情况，可以通过手动合并相邻的小型 Regions 或调整自动分裂阈值参数（如 `hbase.hregion.max.filesize`），合理控制单个 Region 的大小及总数目[^5]。 ```bash # 示例命令：合并指定的两个相邻Regions hbase org.apache.hadoop.hbase.util.Merge \ student,aaa,1595256696737.fc3eff4765709e66a8524d3c3ab42d59 \ student,bbb,1595256696737.1d53d6c1ce0c1bed269b16b6514131d0 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值