hbase架构详解

HBase架构详解及读写流程 HBase 定义 HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 HBase的架构图 架构角色: 1)Master Master是所有Region Server的管理者,其实现为HRegionServer,主要作用有: 对于表的DDL操作:create,delete,alter; 对于RegionServer的操作:分配regions到每个RegionServ... 阅读详情

hbase前言
Google引爆大数据时代的三篇论文
  1. 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文,奠定了风靡全球的大数据算法的基础!

gfs:2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。从根本上说:文件被分割成很多块,使用冗余的方式储存于商用机器集群上

  1. 紧随其后的就是2004年公布的 MapReduce论文,论文描述了大数据的分布式计算方式,主要思想是将任务分解然后在多台处理能力较弱的计算节点中同时处理,然后将结果合并从而完成大数据处理。

传说中,Google使用它计算他们的搜索索引。而Mikio L. Braun认为其工作模式应该是:Google把所有抓取的页面都放置于他们的集群上,然后每天使用MapReduce来重算。

  1. Bigtable发布于2006年,启发了无数的NoSQL数据库,比如:Cassandra、HBase等等。Cassandra架构中有一半是模仿Bigtable,包括了数据模型、SSTables以及提前写日志(另一半是模仿Amazon的Dynamo数据库,使用点对点集群模式)。

在这里插入图片描述

行式存储和列式存储

在这里插入图片描述
在这里插入图片描述

  1. 行式存储倾向于结构固定,列式存储倾向于结构弱化

  2. 行式存储存储一行数据仅需要一个主键,列式存储存储一行数据需要多份主键

  3. 列式存储存储的都是业务数据,而列式存储除了业务数据之外,还需要存储列名。

  4. 行式存储更像是一个Java Bean,所有的字段都提前定义好,且不能改变;列式存储更像是一个Map,不提前定义,随意往里面添加key/value

hbase逻辑结构

在这里插入图片描述

  1. 列名开始 烈簇划分 相同类型的数据放到一块 person office

  2. rowkey 唯一标识 字典序

  3. 一张表被切的乱七八糟 横着是按照rowkey切的 竖着是按照列簇切的 (像mysql中的高表和宽表)

    横向一刀是一个region(切片) 数据量大了就切分

  4. store 实际的存在hdfs中的数据

hbase物理结构

在这里插入图片描述

  1. 这一块可以看成是一个mysql中的表
  2. hbase是怎么存的呢?继续看timestamp type 时间戳导致的插入删除问题
数据模型
  1. namespace命名空间,类似于关系型数据库的 DataBase 概念,每个命名空间下有多个表。HBase有两个自带的命名空间,分别是"hbase"和"default","hbase"中存放的是HBase内置的表,"default"表是用户默认使用的命名空间。

  2. Region 的概念和关系型数据库的分区或分片类似。

    Region 是 HBase中 分布式存储 和 负载均衡 的最小单元,Region 包括完整的行,所以 Region 是以行为单位 表的一个子集。不同的 Region 可以分别在不同的 RegionServer 上。

    每个表一开始只有一个 Region,每个 Region 会保存一个表里 某段连续的数据,随着数据不断插 入表,Region不断增大,当增大到一个阀值的时候,Region就会二等分,生成两个新的Region;

    Table 中的所有行都按照 RowKsey 的字典序排列,Table 在行的方向上分割为多个 Region,基于 Rowkey 的不同范围分配到不通的 Region 中(Rowkey的范围,第一个Rowkey的起始索引 和 最后一Rowkey的结束索引为空串" ",每个Region是前闭后开[起始索引, 结束索引) )

  3. HBase 表中的每行数据都由 一个 RowKey 和 一个或多个 Column(列)组成,数据是按照 RowKey 的字典顺序存储的,并且查询数据时只能根据 RowKey 进行检索,所以 RowKey 的设计十分重要。

  4. Hbase 通过列簇划分数据的存储,列簇下面可以包含任意多的列,实现灵活的数据存取。列簇是由一个一个的列组成(任意多),在列数据为空的情况下,不会占用存储空间。

    Hbase 创建表的时候必须指定列簇。就像关系型数据库创建的时候必须指定具体的列是一样的。

    Hbase的列簇不是越多越好,官方推荐的是列簇最好小于或者等于3。一般是1个列簇。

    新的列簇成员(列)可以随后动态加入,Family下面可以有多个Qualifier,所以可以简单的理解为,HBase中的列是二级列,也就是说Family是第一级列,Qualifier是第二级列。

    权限控制、存储以及调优都是在列簇层面进行的;

    HBase把同一列簇里面的数据存储在同一目录下,由几个文件保存。

  5. HBase中的每个列,由列簇加上列限定符组成,一般是“列簇:列标识(column family : column qualifier)”,例如 info : name,info : age。创建表的时候只需指明列簇,不用指定列标识。

    列限定符属于数据的一部分,每条数据的列限定符都可以不一样

  6. **Time Stamp(version)**用于标识数据的不同版本(version),针对每个列簇进行设置(若列簇的version=3,那它下面的所有列的version都有3个版本),若建表时没有指定version,默认值version=1

    在写入数据的时候,如果没有指定相应的timestamp,HBase会自动添加一个timestamp(默认与服务器时间保持一致)。timestamp也可以由客户显式赋值,如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。

    每个cell中,不同版本的数据按照时间倒序排序,即最新的数据排在最前面。

    为了避免数据存在过多版本造成的的管理(包括存贮和索引)负担,hbase 提供了两种数据版本回收方式: 1、保存数据的最后 n 个版本 ; 2、保存最近一段时间内的版本(设置数据的生命周期 TTL)。

  7. Cell

    由{Rowkey,ColumnFamily : ColumnQualifier, TimeStamp} 确定唯一的cell。

    cell 中的所有字段数据 都没有数据类型,全部是字节码形式存储。被视为字节数组byte[]

详细架构

在这里插入图片描述

  1. master 要做的是DDL的工作
  2. regionserverDML crud 管理region 一个region掉了要将数据给另一个region查询
  3. region类Hregion
  4. store对应列簇
  5. mem store 1个小时 100w条等(刷写条件有很多 其中可能还有整个regionserver一起刷写 这个时候不好控制 有许多小文件生成)
  6. storefile命名 Hfile是存储格式kv 像txt格式等
  7. HLOG 实时通过dfsclient刷写到datanode
  8. 无论是找master还是找regionserver先找zk crud找zk就行
hbase写流程(读比写慢)
  1. 像zk请求meta表所在的regionserver (namespace为hbase 的命名空间有俩张表一张 system meta)

    因为meta表中存了所有表的位置 得到的数据缓存下来

  2. 到指定的regionserver上拿具体要写入的表的位置 比如在另一个regionserver 发送put请求到另一个regionserver

  3. 先写wal

  4. 然后写到memstore(对于client来说结束了)

  5. -ROOT- 0.9版本维护meta表的切分

  6. Hregion类中step9

具体Flush的参数值
  1. hbase.regionserver.global.memstore.size=0.4 regionserver的全局memstore的大小 超过该大小触发flush到磁盘默认是堆大小的40% flush会阻塞客户端的读写
  2. hbase.hregion.memstore.flush.size=134217728 128M单个region里memstore的缓存大小
  3. hbase.regionserver.global.memstore.size.lower.limit=0.95 当集群负载非常高的时候写入 一直在flush 这个时候就不需要等0.4了 数据会积压,到0.4×0.95的时候memstore就开始刷了 还有排序尽量先刷写大的memstore
  4. hbase.regionserver.optionalcacheflushinterval=3600000 1h 晚上的时候2条 数据进来一个小时没有东西操作内存就刷写进去
  5. hbase.regionserver.max.logs wal文件大小可以预估要开始刷了0.9版本
hbase数据的读流程

在这里插入图片描述

LRU(最近最少使用)

读取的时候会将storeFile和memstore都读取出来然后做一个merge (比较时间戳)到block cache中 这就是读慢的原因

hbase数据的合并

compaction分为俩种 分别是minor 和major

compact小合并不删除,大合并删除过期数据

hbase.hregion.majorcompaction=604800000 默认七天大合并 建议关掉 设置为0 手动触发

hbase.hstore.compactionThreshold=3一个store里面允许存的hfile的个数 设置的个数越大可以减少触发和并的时间,但是每次的合并时间会越长

hbase数据的切分
  1. hbase.hregion.max.filesize=10737418240 以前的版本10g 现在是Math.min(tableRegionsCount^3 * initialSize,defaultRegionMaxFileSize)
    initialSize:如果定义了hbase.increasing.policy.initial.size,则使用该值,否则用memstore刷写值得2倍,即hbase.hregion.memstore.flush.size*2。
    取最小值 r为当前regionserver中属于该table的个数

刚开始只有一个Region,上限为1^31282=256M
当有2个Region,上限为2^31282=2048M
当有3个Region,上限为3^31282=6912M
以此类推当有4个Region时候,为16G,上限达到了10GB,最大值就保持在了10G,Region数量再增加也不会增加上限

  1. 所以要做预分区 因为自动切分会照成数据的热点问题,一个region一直越切越大

  2. 切分都是按照rowkey来切的

  3. 这里设计另一个知识为什么官方建议列簇一个不建议使用多个 因为如果你一个列簇数据多另一个列簇只有几条数据那么region一切分,每一个store是不是都对应一个memstore 个别的mestore 全局flush的时候形成大量的小文件

    (如果数据同步增长则没有这种烦恼)

数据的删除
  1. 大合并的时候 或flush的时候 就是同一个内存(memstore)的flush到storefile时候 就是不同时间戳的俩条数据见面的时候
  2. type=deletecolumn 删除标记 光flush数据删除 标记还在 因为这个时候磁盘中可能还有别的version的数据 如果这个时候标记删除了 则下次flush的时候可能会数据诈尸 只有compact的时候将数据全部拉倒一块删除 删除标记才能删除
详解Σ-Δ型ADC拓扑结构的基本原理 现在,总环路滤波器的H(f)具有更大的滚降,Mod 2型的噪声传递函数具有40 dB/十倍频程的上升速率。同样,当正弦波输入为负满量程时,+1和–1之间的转换会减少,输出以–1为主。噪声传递函数是一个高通滤波器函数,提供噪声整形,在DC附近的较低频率,对量化噪声有很强的抑制。H(f)是环路滤波器的函数,定义噪声和信号的传递函数。Σ-Δ型ADC的噪底由热噪声决定,而不受量化噪声的限制。量化噪声为量化器的输入与输出之差。图5. Mod 1 Σ-Δ环路的线性模型(b),包括方程、滤波器、信号和噪声传递函数图。 阅读详情

相关推荐

FFmpeg视频缩放终极指南:从基础命令到保持宽高比的5种实战技巧

本文是FFmpeg视频缩放的终极指南,详细讲解了从基础命令到保持宽高比的5种实战技巧。针对不同平台(如抖音、B站、Instagram)的分辨率要求,提供了具体的参数模板和批量处理脚本,帮助内容创作者高效、精准地调整视频大小,避免画面变形或黑边问题,实现多平台适配。

juice的博客 462

【HBase总结】HBase的逻辑结构、物理结构和基本架构

概述HBase的定义、逻辑结构、物理结构和架构

克里斯的博客 3308

施耐德 Modicon M580 ePAC 项目实战:从硬件选型到 Control Expert V15 组态

本文详细解析了施耐德 Modicon M580 ePAC 在工业自动化项目中的实战应用,从硬件选型到 Control Expert V15 组态的全流程。重点介绍了水处理站控制系统的硬件配置、网络架构设计、软件安装授权及程序框架开发,帮助工程师高效实施中大型控制系统项目。

weixin_33701617的博客 328

HBase-概述,hbase逻辑结构,hbase物理存储结构

文章目录HBase概述HBase逻辑结构HBase物理存储结构 HBase概述 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 是一种面向列簇存储的非关系型数据库。 用于存储结构化和非结构化的数据,适用于单表非关系型数据的存储,不适合做关联查询,类似JOIN等操作。 基于HDFS,数据持久化存储的体现形式是HFile,存放于DataNode中,被ResionServer以region的形式进行管理。 延迟较低,接入在线业务使用,面对大量的企业数据,HBase可以实现单表大量数据的存储

一个写湿的程序猿 3245

VH6501干扰仪的使用

触发模式方法备注External Trigger(外部触发)使用VH6501的I/O口作为触发源Frame Trigger(报文触发)设定被干扰报文的触发位置,并发送干扰位序列/报文software Trigger(软件触发)配置好干扰序列后直接发送Error Frame Trigger(错误帧触发)基于错误帧标识位为触发条件触发干扰Direction Trigger(发送方向触发)根据TX/RX发送/接收方作为触发条件Inverted Trigger(反向触发)

帮助100万人颠覆负面潜意识,实现人生蜕变,培养1万名潜意识开发导师 9057

【Simscape】用Simscape实现三维物理仿真(三)——创建一个滑块单摆系统

1 首先创建一个Simscape Multibody 模型 (方法见 【Simscape】用Simscape实现三维物理仿真(一)——创建一个自由落体小球) 2 创建四个Solid模块 (1)摆杆 Shape : Brick Dimensions : [0.1 0.05 1] m (2)摆杆轴 Shape : Cylinder Radius : 0.02 m Le...

ReadAir的专栏 9037

HBase系列(三)HBase物理架构与工作流程详解--收藏这一份就够了!!!

文章目录HBase物理架构:HMaster:HMaster的主要作用:--负责table和region管理工作HRegionServer:1.HLog ----简直和NN的editlog还有mysql的log文件一毛一样2.HRegion3.Store--一个Store代表一个列簇4.StoreFile5.blockcacheHBase物理架构工作流程:一:读操作:二:写操作细节扩展:一:为什么Client只需要知道Zookeeper地址就可以了呢?二:HBase三大模块如何一起协作的。(HMaster,R

qq_35050438的博客 2366

[VCS]VCS编译及仿真时间分析及加速方法

本文介绍了VCS仿真工具中编译和仿真时间的分析方法及优化策略。首先阐述了使用-simprofile选项生成profileReport.html报告来定位时间消耗点的方法。其次提出了三种优化方案:优化resource_db/config_db使用wildcard、减少debug选项的影响、选择性dump fsdb波形。重点讲解了VCS checkpoint机制,详细说明了其保存/恢复仿真状态的功能、使用方法、与restart的区别,以及如何通过选择性保存、压缩、SSD存储等方式提升效率。最后提出将checkp

元直的博客 1万+

HBase逻辑结构和物理结构(图形化通俗易懂)

文章目录组件模块说明HBase 逻辑结构HBase 物理存储结构数据模型 组件模块说明 HBase:HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。利用Hadoop HDFS作为其文件存储系统,提供高可靠性 、高性能、列存储、可伸缩、实时读写的数据库系统。 HBase 逻辑结构 逻辑上, HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。横轴按Row key水平切分,纵轴按列族垂直切分。 Row key:行键,唯一键。在每个store内是有序的,按字典序排

lovelife110的博客 1817

Opencv项目实战:20 单手识别数字0到5

今天要做的是单手识别数字0到5,通过在窗口展示,实时的展示相应的图片以及文字。在这里,我提供一下识别更多数字的方法(0-10)。首先最简便的是双手识别,完全不用更改代码,把图片处理好就行了;其次,就是按照最上面的那张图片,参数figureup是一个长度为5的列表[0,0,0,0,0],你可以参照着手势将其打印出来,然后将其用if条件判断。当然,在我们这边最常见的还是华北手势表示数字,大家按照自己的习惯来就行。

m0_62919535的博客 2879

从 QQ 聊天到 AI Agent:AstrBot + NapCat 接入 DeepSeek

<think>我们根据要求,根据提供的内容生成≤150字的文章摘要。内容是关于在Windows上使用Docker部署AstrBot+NaPCat,配置DeepSeek,实现QQ AI机器人。摘要需简洁概括主要步骤和结论。注意字数。</think>在Windows 11上通过Docker一键部署AstrBot与NapCat,实现QQ机器人。NapCat扫码登录QQ,AstrBot接入并配置DeepSeek API,完成AI对话。后续可扩展人格、插件及MCP工具,并通过cpolar提供公网管理入口,打造可扩展的

天道酬勤 1万+

Hbase

是一种思想概念,一种抽象思维,用来描述数据的数据,比如有一张学生表,记录着学生的基本信息,我们通过表可以获取学生信息(数据),但是有时候也要得到表本身的信息数据(比如表结构信息:字段名称,字段数据类型,长度等信息),对于这种基础信息的描述,就会使用META的概念,使用META元数据来描述表本身。如果在一些Region中有大量的数据(存着那个列族中的列的数据),而剩下的Region仅有少量的数据,那么就会生成多个的小文件。当一个行键在不同的列族中都有相应的列值的话,不同列族中的文件都会存储这个行键的值。

buaixuexideshuge的博客 1509

Java 大视界 -- 基于 Java+Flink 构建实时电商交易风控系统实战(436)

本文介绍基于Java+Flink构建实时电商交易风控系统的实战经验。系统采用分层架构设计,包含数据采集层、实时计算层、规则引擎层、数据存储层和应用服务层,实现毫秒级风险识别与拦截。核心组件包括Flink 1.17处理交易数据流、Drools规则引擎动态匹配风险规则、Redis缓存热点数据等。文章详细提供了开发环境配置清单和Maven依赖说明,确保系统具备低延迟(≤200ms)、高吞吐(10万TPS)和高可用性(99.99%)特性。该方案已通过生产环境验证,可有效应对恶意刷单、盗刷支付等电商交易风险。

【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 9 | 博客之星 TOP12 优快云 首位四榜(原力榜 / 作者周榜 / 领军人物 / 综合热榜)榜首,破平台纪录! 苏州地区全榜霸榜,感恩全网十多万粉丝同行! 3943

HBase架构——详解

HBase详解 HBase读写流程 HBase架构

hujieliang123的博客 3749

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Hbase架构详解

摘要:HBase是基于Hadoop HDFS的分布式列式存储系统,模仿Google BigTable设计。其核心架构包含HMaster(元数据管理)、RegionServer(数据处理)、Region(数据分片)、ZooKeeper(协调服务)等组件。数据按表结构存储,通过预写日志(WAL)和内存缓存(MemStore)保证写入可靠性,并支持自动Region分裂合并。系统具有高可用性(主备机制)、数据多副本等特性,适用于海量日志、实时分析等场景。

onlymscn的博客 778

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Hbase 的架构详解

Hbase 作为 NoSQL 数据库的代表,属于三驾马车之一 BigTable 的对应实现,HBase 的出现很好地弥补了大数据快速查询能力的空缺。在前面咱们也有介绍过 HBase 的数据模型,感兴趣的小伙伴可以翻看下。谈谈你对HBase数据模型的认识? HBase 的核心架构由五部分组成,分别是 HBase Client、HMaster、Region Server、ZooKeeper 以及 HDFS。它的架构组成如下图所示。 下面我们对 HBase 架构组成的每一部分详细介绍一下。 1.HBas

一瓶绿茶三元钱 6421

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

详解HBase架构原理

一、什么是HBase  HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。   HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用HadoopHDFS 作为其文件存储系统;Google 运行MapRed...

Eddie-Wang的博客 1726

HBase 的基本架构 详解

HBase 是一个分布式的、面向列的数据库,构建在 HDFS(Hadoop Distributed File System)之上,提供高效的随机读写操作。为了全面理解 HBase 的基础架构,需要从逻辑架构、物理存储、组件之间的交互、数据管理和底层设计出发,结合源码进行深入剖析。

goTsHgo的博客 2220

hbase 客户端_Hbase架构详解

架构组成HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:​在物理上,HBase由master/slave类型体系结构中的三种服务器组成。RegionServer为...

weixin_39880490的博客 294

详解Hbase架构原理

一、Hbase概念 Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可以在廉价的PC Server上搭建大规模结构化存储集群。 Hbase是Google BigTable的开源实现,与Google BigTable利用GFS作为其文件存储系统类似,Hbase利用Hadoop HDFS作为其文件存储系统。 Google运行MapReduce来处理BigT...

weixin_30423977的博客 189

HBase基础【HBase架构详解、API操作】

保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时机才会刷写到HFile,每次刷写都会形成一个新的HFile。由于数据要经MemStore排序后才能刷写到HFile,但把数据保存在内存中会有很高的概率导致数据丢失,为了解决这个问题,数据会先写在一个叫做Write-Ahead

weixin_43923463的博客 509
上一篇: Python Learning(九)-异常和IO
下一篇: ambari代码编译
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值