HBase的物理模型

最新推荐文章于 2024-01-23 22:30:09 发布
原创 最新推荐文章于 2024-01-23 22:30:09 发布 · 952 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #数据

HBase中的Table行按照rowkey字典顺序排列，以Region为单位进行分割。随着数据增长，Region会分裂以并行处理，提高效率。每个Region由一个RegionServer管理，RegionServer可管理多个Region，实现负载均衡。Region进一步分解为Store，每个Store对应一个Column Family，包含内存中的MemStore和HDFS上的StoreFile。数据首先存于MemStore，满后转存至HDFS的StoreFile。

  • Table中的所有行都按照rowkey的字典顺序排列
    这里写图片描述

  • Table在行的方向上分割为多个Region

    Region是按照大小分割的每个表开始只有一个region,随着数据增
    多,region不断变大,当大到一定程度的时候,region就会分割成两个>新的region,之后会有越来越多的region;
    那么为什么要拆分region呢?
    第一点.可以并行化的处理数据.可以分割的数据可以通过Mapreduce进行并行处理,提高效率;

  • 一个Region在同一时刻只能被同一个RegionServer管理
    RegionServer能管理多个Region

  • 不同的Region分布到不同的RegionServer上
    这里写图片描述

  • Region是HBase中分布式存储和负载均衡的最小单元,但不是存储的最小单元

这里写图片描述
如图所示Region由一个或者多个Store组成,每个Store保存一个Column Family;每个Store又由一个MemStore和0至多个StoreFile组成;MemStore存储在内存中,StoreFile存储在HDFS上;
数据先保存在memoryStore上也就是内存中,当MemoryStore满了之后将会以StoreFile的形式写入到DHFS上

[Hadoop]HBase物理模型
SmartSi
05-12 1521
Client包含访问HBase的接口并维护cache，加快对HBase的访问Zookeeper保证任何时候，集群中只有一个master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知给Master 存储HBase的schema和table元数据Master为Region server分配region 负责Region server的负载均衡 发现失效
HBase读写机制和物理模型
Eric ' s Code Blocks
04-30 1454
介绍了HBase的读写机制和物理模型
HBase物理模型
ziania_cumt的博客
04-11 750
HBase物理模型
HBase 物理模型
领导的博客
03-18 618
概念视图 HBase以表的形式存储数据。表有行键、时间戳和列族组成。列族划分为若干个列。其结构如下： 基本概念 表（Table） HBase采用表来组织数据，表由许多行和列组成，列划分为多个列族。 特点： 大：一个表可以是10亿行，上百万列。 面向列:面向列(族)的存储和权限控制，列(簇)独立检索。（提升查询的性能） 稀疏：对于空（null）的列，并不占用空间，因此，表可以设计非常稀疏。 ...
Hbase思维导图之物理模型.png
06-11
Hbase思维导图之物理模型
[HBase] 体系架构（物理模型）
数据库
05-08 243
Client --包含访问HBase的接口并维护cache，加快对HBase的访问 Zookeeper –保证任何时候，集群中只有一个master –存贮所有Region的寻址入口。 –实时监控Region server的上线和下线信息。并实时通知给Master –存储HBase的schema和table元数据 Master –为Region ...
HBase数据及物理模型架构及工作原理
02-25
本文来自于csdn，主要为对HBase简介，HBase数据模型及物理模型，HBase架构及工作原理。HBase是一个构建在HDFS之上的，分布式的、面向列的开源数据库HBase是GoogleBigTable的开源实现，它主要用于存储海量数据个人...
大数据Hbase ------- hbase的物理模型
Z_Data的博客
11-15 936
Hbase的物理模型，意思就是在hbase中数据是如何存储的，以及存储原理，以及位置。 在hbase中最小的存储单元叫做cell： rowkey+列簇+时间戳+value 这样可以唯一确定一个单元格的值 ,在hbase的物理模型中，region是按照rowkey在行的方向上可以划分多个region ，并且都是按照字典序进行排序的 regionk可以理解为分区的概念,一个region 里面存在一...
Hbase物理模型
u013954942的专栏
04-04 819
1.Region和Region服务器 表在行方向上，按照行键范围划分成若干的Region 每个表最初只有一个region，当记录数增加到超过某个阈值时，开始分裂成两个region 物理上所有数据存放在HDFS，由Region服务器提供region的管理 一台物理节点只能跑一个HRegionServer 一个Hregionserver可以管理多个Region实例 一个Regi
【HBase三】HBase物理模型
bit1129的博客
03-12 461
HBase物理存储 Table中的所有行都按照row key的字典序排列   Table 在行的方向上分割为多个Region（意思是一个Region多个行）   Region按大小分割的(按照rowkey进行划分)，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的reg...
HBase(2)：hbase物理模型结构
小蚯蚓的博客
11-27 729
一.物理结构图 二.关键概念 1.存储单元Cell （1）存储单元cell：rowkey+列簇+timestamp+version，确定一个单元格的值  （2）数据无类型，以字节码的形式进行存储 2.Region （1）列分割：table中所有的行都是按照字典序进行排列，可以在行的方向分割为多个region （2）region是hbase中分布式存储和负载均衡的最小单元，存储的最小...
HBase的物理模型和读写流程（二）
RivenDong
09-25 1017
文章目录1. HBase的物理模型2. HBase的读写流程2.1 写操作流程2.2 读操作流程 1. HBase的物理模型 Region是按大小进行分割的，每个表开始只有一个Region。随着数据量的增多，Region不断增大，当增大到液体个阈值的时候，Region就会分出一个新的Region，之后会有越来越多的Region。 Region是HBase中分布式存储和负载均衡的最小单元，不同的R...
HBase学习笔记——物理模型
qq280929090的专栏
02-21 2351
一、HRegion HBase中表在行的方向上分割为多个Hregion。 HRegion按大小分割的，每个表一开始只有一个region，随着数据不断插入表，HRegion不断增大，当增大到一个阀值的时候，HRegion就会等分会两个新的HRegion，当table中的行不断增多，就会有越来越多的Hregion。 HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HReg
Hbase 物理架构概述
beautiful_huang的博客
12-22 1023
Hbase物理模型架构体系 hbase工作流程 HRegionServer负责打开region，并创建HRegion实例，它会为每个表的HColumnFamily（用户创建表时定义的）创建一个Store实例，每个Store实例包含一个或多个StoreFile实例。是实际数据存储文件HFile的轻量级封装，每个Store会对应一个MemStore。写入数据时数据...
HBase 数据及物理模型 架构及工作原理
harvey的博客
08-11 3647
HBase 概述 数据模型 物理模型 架构 工作原理
大数据（Hbase）数据模型
不瘦十斤不换名字
04-16 1679
Hbase数据模型 rowkey Hbase是面向列式存储的分布式数据库，rowkey是行键，用来组织逻辑上的一行数据。rowkey可以是任意类型的字符串，最大长度为64KB。rowkey按照字典顺序排序存储，在设计rowkey时，需要考虑如何充分利用rowkey的这一特性，特高查询效率和存储效率，通常把经常一起读取的行存储在同一区域内。 列族 Hbase表中的每个列都属于一个...
Hbas简介：数据模型和概念、物理视图
缘友一世的博客
01-23 1949
HBase 是谷歌 BigTable 的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式非关系型数据库，主要用来存储非结构化和半结构化的松散数据，并提供高吞吐量和低延迟的数据访问能力。HBase的架构是基于Hadoop生态系统的，它使用HDFS作为底层存储系统；并利用 Hadoop MapReduce来处理 HBase 中的海量数据，实现高性能计算；利用 ZooKeeper 作为协同服务，实现稳定服务和失败恢复。
hbase数据模型
最新发布
05-07
### HBase 数据模型详解 HBase 的数据模型是一种稀疏、分布式的多维映射表，其核心概念包括表（Table）、行（Row）、列族（Column Family）以及单元格（Cell）。以下是关于 HBase 数据模型的具体结构和设计： #### 表（Table） HBase 中的数据是以表的形式组织的。类似于传统的关系型数据库，但是它的设计更加灵活。每个表由行和列组成，并且可以动态扩展。 #### 行（Row） 每一行都有一个唯一的标识符——`RowKey`[^3]。所有的数据都是按 `RowKey` 的字典顺序存储的，这意味着可以通过指定范围来高效地扫描一组连续的行。由于数据是按照这种顺序排列的，因此 `RowKey` 的设计对于性能至关重要。 #### 列族（Column Family） 与传统的二维表格不同，在 HBase 中引入了一个新的概念叫作 **列族**。每一个列都需要归属于某个特定的列族[^1]。列族是在创建表的时候定义好的，并且一旦设定就很难修改。同一个列族内的所有列共享相同的存储属性配置，比如压缩方式、TTL（Time To Live）等参数。 #### 单元格（Cell） 在一个具体的行列交叉点上的值被称为 Cell 或者 KeyValue 对象。值得注意的是，除了基本的内容之外，每个 cell 都会附加时间戳信息用于版本控制。默认情况下保留最新三个版本；如果需要的话也可以调整这个数值甚至关闭版本管理功能。 #### 时间戳（Timestamp） 为了实现多版本支持，每次写入操作都会自动记录当前的时间作为该条记录的时间戳[^2]。这样即使同一位置多次更新也不会覆盖旧有数据而是新增加一条带有新 timestamp 的 entry。 ```java Put put = new Put(Bytes.toBytes("row1")); put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col1"), System.currentTimeMillis(), Bytes.toBytes("value1")); table.put(put); ``` 以上代码展示了如何向名为 "cf" 的 column family 下面增加一条 key-value pair："col1"=>"value1". --- ### 物理存储布局 从物理层面来看,Hbase 将逻辑上的 table 分割成若干 region,这些 regions 被均匀分布在集群节点上以达到负载均衡的目的;而每个region内部则进一步划分为storefiles 和 memstores 来分别处理持久化磁盘读取请求及内存缓存机制. 当客户端发起 get/scan 请求时,hmaster 会定位到目标所在的regionserver 并返回对应的结果集.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值