hadoop hbase中的root表和meta 简述

最新推荐文章于 2022-09-24 18:32:56 发布
原创 最新推荐文章于 2022-09-24 18:32:56 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop hbase中的root表和meta 简述

本文简述了Hadoop HBase中的ROOT表和META表的角色。ROOT表作为简表，主要存储META表的位置信息，而META表详细记录所有HRegion详情。此外，文章还探讨了HBase的HDFS目录结构、WAL日志、RegionServer的工作原理以及数据存储格式。

hadoop hbase中的root表和meta 简述

在这里插入图片描述

在这里插入图片描述

总结
　　ROOT表可以看作是一张简表，简单的信息，记录不是很多，但ROOT表记录了META的信息。
　　META表可以看作是一张详表，记录了所有HRegion的信息。ROOT表也记录了HRegion表的信息，但没META表记录详细。

拓展：
HBase表的HDFS目录结构如下
/hbase
/data
/ (集群里的Namespaces)
/

(该集群的Tables)
/ (该table的Regions)
/ (该Region的列族)
/ (该列族的StoreFiles)

HLog的HDFS目录结构如下
/hbase
/WALs
/ (RegionServers)
/ (WAL files for the RegionServer)
在这里插入图片描述

一个RegionServer上存在多个Region和一个HLog读写实例。


HLog的就是WAL(Write-Ahead-Log)，相当于RDBMS中的redoLog，写数据时会先写一份到HLog。可以配置MultiWAL，多Region时使用多个管道来并行写入多个WAL流。

最低0.47元/天 解锁文章
hbase详解
woaini886353的博客
05-10 9252
hbase hbase简介 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS..
Hbase简介与基本原理
lilygg的博客
05-14 4441
一、Hbase简介 HBase（Hadoop Database）是一个开源的非关系型的分布式数据库，运行于HDFS文件系统之上，可以容错地存储海量稀疏的数据。 HBase是一个高可靠、高性能、面向列、可伸缩、实时读写的分布式数据库，主要用来存储非结构化和半结构化的松散数据。 HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。 划重点： HBase是基于列存储的，主要用来存储非结构化和半结构化的松散数据，适合大数据的.
-ROOT-表和.META.表详解
zzShine的专栏
01-17 1586
HBase中有两个特殊的表：-ROOT-和.META.。由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示：注意两点：       Client端在访问数据的过程中并没有涉及到Master节点，也就是说HBase日常的数据操作并不需要Master，不会造成Master的负担。       并不是每次数
HBase -ROOT-和.META.表结构
张勤一
11-24 1426
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘
HBase中的Client如何路由到正确的RegionServer
Make Progress Everyday!
04-13 2472
HBase中的Client如何路由到正确的RegionServerPosted onJuly 27, 2010byHarry_Ding<br />在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServe
Hbase“-ROOT-”表和“.META.”表
shen_ting的专栏
05-13 729
Hbase中两张特殊表：-ROOT- & .META. 客户端访问数据的流程： Client -> Zookeeper -> -ROOT- -> .META. -> 用户数据表 Zookeeper中记录了-ROOT-表的location -ROOT- 　  记录.META.表的Region信息，-ROOT-只有一个region，不能被分割。 -ROOT-表
-ROOT-表和.META.表结构详解
dbbaq24022的专栏
08-15 328
在《HBase技术简介》中我们知道，HBase中有两个特殊的表：-ROOT-和.META.。 由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示： 注意两点： Client端在访问数据的过程中并没有涉及到Master节点，也就是说HBase日常的数据操作...
HBase中-ROOT-和.META.表
jiaotongqu6470的博客
10-14 705
-ROOT-和.META.表，它们是HBase的两张内置表，从存储结构和操作方法的角度来说，它们和其他HBase的表没有任何区别，你可以认为这就是两张普通的表，对于普通表的操作对它们都适用。它们与众不同的地方是HBase用它们来存贮一个重要的系统信息——Region的分布情况以及每个Region的详细信息。
程序员简述大数据Hadoop常见问题
weixin_52276913的博客
11-27 854
近期有不少刚刚接触或者是刚参加大数据培训的小伙伴询问Hadoop常见问题有哪些，下面是简单整理的一些内容，现在分享给大家，希望对小伙伴们有所帮助。 1、现在企业中使用Hadoop版本主要是1.x还是2.x? 目前百度，腾讯，阿里为主的互联网公司都是以hadoop。 a.X为基准版本的，当然每个公司都会进行自定义的二次开发以满足不同的集群需求。 b.X在百度内部还没有正式使用，还是以1.X为主，不过百度针对1.X的问题开发了HCE系统(HadoopC++Expand系统)。 补充：Hadoop2.x在其他公司
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3912
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
HBase - ROOT 和 META 表结构 (region定位原理)
tianyeshiye
06-12 2010
1. HBase读写流程 上图是RegionServer数据存储关系图。上文提到，HBase使用MemStore和StoreFile存储对表的更新。数据在更新时首先写入HLog和MemStore。MemStore中的数据是排序的，当MemStore累计到一定阈值时，就会创建一个新的MemStore，并且将老的MemStore添加到Flush队列，由单独的线程Flush到磁盘上，成为一个Sto...
看懂-ROOT-表和.META.表
wangneng_168的专栏
11-28 826
    前提说明：本文章研究的hbase版本是0.94.12。.       -ROOT-表和.META.表是hbase的元数据表，在-ROOT-表中保存有.META.表的相关信息，在.META.表中保存有业务表的region相关信息，在client端访问具体的业务表的region时需要先通过-ROOT-表找到.META.表，再通过.META.表找到region的位置，即这两个表主要解决了...
HBase -ROOT-表和.META.表
人是有思想的芦苇
07-22 1706
官方文档：http://hbase.apache.org/book.html#arch.catalog
Hadoop MetaData(元数据) 介绍. 和Block File 信息获得
热门推荐
草原孤狼的专栏
06-02 1万+
hadoop 管理数据的机制      hadoop 用来存储文件是很好，但是要去对存储好的文件进行update，delete，操作，相对就不是那么好操作了，但是非要 做这样的操作，该如何办呐 ？      a. 先去看hadoop 存文件是怎么存的，是怎么读|写的，      b.根据a 的结论，找到读|写的方式也就找到了如何去delete，update 的方式了.      hado
hbase:meta 表解析
初阳
04-19 6352
hbase:meta表中存储了Hbase集群中全部表的所有的region信息。 hbase:mate表所在的RegionServer信息被存储到了zk中的/hbase/meta-region-server节点。通过查询该节点，可以获得hbase:meta表在那个RegionServer。 rowkey hbase:meta表的rowkey结构如下： 表名,STARTKEY,创建时间.ha...
Hbase Meta表基本介绍
JY_He的博客
04-01 7754
Hbase有一个叫做Meta的特殊的目录表，用于保存集群中regions的位置信息（region列表）。ZooKeeper存储着Meta表的位置。 Hbase Meta结构如下： 具体含义： rowKey:([table],[region start key],[region id]) column family：info column：regioninfo、server、se...
Hbase源码系列之源码前奏hbase:meta表相关详细介绍
mojolang
04-28 971
一，基本功能介绍 -root-表在HBase 0.9.6以后的版本被移除了。 Hbase 0.9.6以前，三个重要信息： 1，-root-表的位置存储在Zookeeper上(只会存在一个regionserver上)，内容是.meta表的存储信息 2，.meta表存储在一个regionserver上，存储的是用户的表的region信息，用户表越大，这个表的region会越多，进而会分布到不同的regionserver。 3，用户的表信息，用户表示存储在各个regionserver上。 Hbase
Hadoop文件系统元数据（MetaData）的持久化
qq_44645104的博客
08-18 861
** Hadoop文件系统元数据（MetaData）的持久化 ** HDFS名称空间由NameNode存储。NameNode使用名为EditLog的事务日志来持久记录文件系统元数据发生的每个更改。例如，在HDFS中创建新文件会导致NameNode将记录插入EditLog，以指示此情况。同样，更改文件的复制因子会导致将新记录插入EditLog。NameNode使用其本地主机OS文件系统中的文件来存储...
HBase简单介绍
weixin_43403578的博客
04-23 400
1、什么是HBase？ HBase 是一个分布式，可扩展，面向列的适合存储海量数据的NoSQL数据库，其最主要的功能是解决海量数据下的实时随机读写的问题。 HBase 依赖 HDFS 做为底层分布式文件系统。 1、特性 强读写一致，但是不是最终一致性的数据存储，这使得它非常适合高速的计算聚合 自动分片，通过Region分散在集群中，当行数增长的时候，Region也会自动的切分和再分配 自动的故障转移 Hadoop/HDFS集成，和HDFS开箱即用 丰富、简洁、高效的API 块缓存，布隆过滤器，可以高效的列
Hadoop HBase入门到精通全攻略
Hadoop和HBase是当前大数据处理领域广泛应用的两个技术框架，Hadoop是一个开源的分布式存储和计算平台，而HBase是建立在Hadoop之上的一个非关系型分布式数据库，适用于处理大量数据的实时读写需求。下面将详细解释...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值