Hadoop 笔记 4 Hbase

本文深入解析HBase数据库的核心特性,包括其基于Hadoop的架构,每个cell的三要素(行、时间戳、列族),以及物理模型(按行分割、按列族存储、空值不存储)。重点介绍Region的概念及其作用,HMaster的角色负责负载均衡和表元数据管理,以及如何通过Zookeeper感知RegionServer状态。此外,阐述了Root表和.meta表的存储方式,以及如何通过Hlog实现数据恢复。

Hbase是基于Hadoop的数据库。

====================Hbase特点===============

  • Hbase:表中的每个cell有三个元素,行,时间错,列族。
  • 逻辑模型:行是一个唯一的检索的字段,时间戳记录了数据库每次操作的时间(可以设定显示最近的几个时间戳的值,或者最近一个时间范围内的值),列族反应了所在的列。没有格式限制。

  • 物理模型:按照行分割,按照列族存储,空值不存储。时间戳是顺序存储,如果不指明时间戳就会取最新的数据。该架构的另一个好处是随时可以增加列,而不用声明。

==========================Region===========================
  • 表的最小单位是Region,当一个Region达到阀值的时候就会分成多个Region,一个表有多个Region,但是一个Region只会存在一台服务器上。Hregionserver管理多个Hregion。每个region只维护一个Hlog。可以用来恢复数据,但是region下线之后,需要将它的多个Hlog分拆到多个region服务器上进行恢复。
  • 需要更新表的时候:将指令存放在memstore中,达到一定数量之后就会写入到磁盘上的storefiles,当达到一定数量之后就将多个storefiles合并(compact),这时候就进行更新和删除的工作。当storefiles达到一定的大小,就分成多个Region,又Hmaster分配到其它的region 服务器。
  • 表中的元数据存在".meta"表中,而“.meta”存放在“root”表中,Zookeeper记录了root表的位置。
=======================Hmaster========================
  • 每个Hbase只有一个Hmaster(貌似Haddoop都是单节点),Hmaster负责负载均衡和表的schema以及元数据存储。Master通过Zookeeper来感知Regionserver。
=========================Root-====================
root表只有一个region,而且region存放在内存中。



下载方式:https://pan.quark.cn/s/a4b39357ea24 布线问题(分支限界算法)是计算机科学和电子工程领域中一个广为人知的议题,它主要探讨如何在印刷电路板上定位两个节点间最短的连接路径。 在这一议题中,电路板被构建为一个包含 n×m 个方格的矩阵,每个方格能够被界定为可通行或不可通行,其核心任务是定位从初始点到最终点的最短路径。 分支限界算法是处理布线问题的一种常用策略。 该算法与回溯法有相似之处,但存在差异,分支限界法仅需获取满足约束条件的一个最优路径,并按照广度优先或最小成本优先的原则来探索解空间树。 树 T 被构建为子集树或排列树,在探索过程中,每个节点仅被赋予一次成为扩展节点的机会,且会一次性生成其全部子节点。 针对布线问题的解决,队列式分支限界法可以被采用。 从起始位置 a 出发,将其设定为首个扩展节点,并将与该扩展节点相邻且可通行的方格加入至活跃节点队列中,将这些方格标记为 1,即从起始方格 a 到这些方格的距离为 1。 随后,从活跃节点队列中提取队首节点作为下一个扩展节点,并将与当前扩展节点相邻且未标记的方格标记为 2,随后将这些方格存入活跃节点队列。 这一过程将持续进行,直至算法探测到目标方格 b 或活跃节点队列为空。 在实现上述算法时,必须定义一个类 Position 来表征电路板上方格的位置,其成员 row 和 col 分别指示方格所在的行和列。 在方格位置上,布线能够沿右、下、左、上四个方向展开。 这四个方向的移动分别被记为 0、1、2、3。 下述表格中,offset[i].row 和 offset[i].col(i=0,1,2,3)分别提供了沿这四个方向前进 1 步相对于当前方格的相对位移。 在 Java 编程语言中,可以使用二维数组...
源码来自:https://pan.quark.cn/s/a4b39357ea24 在VC++开发过程中,对话框(CDialog)作为典型的用户界面组件,承担着与用户进行信息交互的重要角色。 在VS2008SP1的开发环境中,常常需要满足为对话框配置个性化背景图片的需求,以此来优化用户的操作体验。 本案例将系统性地阐述在CDialog框架下如何达成这一功能。 首先,需要在资源设计工具中构建一个新的对话框资源。 具体操作是在Visual Studio平台中,进入资源视图(Resource View)界面,定位到对话框(Dialog)分支,通过右键选择“插入对话框”(Insert Dialog)选项。 完成对话框内控件的布局设计后,对对话框资源进行保存。 随后,将着手进行背景图片的载入工作。 通常有两种主要的技术路径:1. **运用位图控件(CStatic)**:在对话框界面中嵌入一个CStatic控件,并将其属性设置为BST_OWNERDRAW,从而具备自主控制绘制过程的权限。 在对话框的类定义中,需要重写OnPaint()函数,负责调用图片资源并借助CDC对象将其渲染到对话框表面。 此外,必须合理处理WM_CTLCOLORSTATIC消息,确保背景图片的展示不会受到其他界面元素的干扰。 ```cppvoid CMyDialog::OnPaint(){ CPaintDC dc(this); // 生成设备上下文对象 CBitmap bitmap; bitmap.LoadBitmap(IDC_BITMAP_BACKGROUND); // 获取背景图片资源 CDC memDC; memDC.CreateCompatibleDC(&dc); CBitmap* pOldBitmap = m...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值