
Hbase
文章平均质量分 87
浩先生_FOREVER
突然脑子发热想写点儿博客。。。
展开
-
HBase的核心模块介绍
众所周知,Hadoop框架包括两个核心组件:HDFS和MapReduce,其中HDFS是文件存储系统,负责数据存储;MapReduce是计算框架,负责数据计算。它们之间分工明确、低度耦合、相互关联。对于Hbase数据库的核心组件可以分为4个模块:客户端Client、协调服务模块zooKeeper、主节点HMaster、和Region节点RegionServer,这些组件的描述和相互之间的关联如下图:原创 2017-03-12 20:19:04 · 2879 阅读 · 0 评论 -
HBase数据模型解析和基本的表设计分析
官方推荐博客原文地址:HBase是一个开源可伸缩的针对海量数据存储的分布式nosql数据库,它根据Google Bigtable数据模型来建模并构建在hadoop的hdfs存储系统之上。它和关系型数据库Mysql, Oracle等有明显的区别,HBase的数据模型牺牲了关系型数据库的一些特性但是却换来了极大的可伸缩性和对表结构的灵活操作。在一定程度上,Hbase又可以看成是以行键(Row Key),转载 2017-03-12 20:27:30 · 417 阅读 · 0 评论 -
HBase表结构设计----模式构建
要知道HB阿瑟的表如何创建,首先需要了解Hbase的模式结构,包括表、Rowkey、列族、Timestamp(时间版本)。其实模式是一个三维有序结构,前面三个维度确定一行数据。 HBase的模式不同于关系型数据库(RDBMS),HBase与RDBMS的区别在于:HBase的单元格(cell)所在的行是有序的,其列(Qualifier)在所属列族(Column Family)存在的情况下,可以通过客原创 2017-03-13 19:23:05 · 1977 阅读 · 0 评论 -
HBase的RowKey设计原则
Hbase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过get方式,指定rowkey获取唯一一条记录通过scan方式,设置startRow和stopRow参转载 2017-03-13 21:08:44 · 376 阅读 · 0 评论 -
HBase负载均衡之集群负载的评分方法
HMater负责把region均匀到各个region server 。hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次。每次负载均衡操作可以分为两步:生成负载均衡计划表Assignment Manager 类执行计划表原创 2017-04-01 20:20:13 · 3608 阅读 · 0 评论 -
HBase学习之负载均衡(balance)
负载均衡是计算机网络领域的一个专业术语,该术语在分布式系统领域应用非常广泛。对于HBase来讲,不同节点(RegionServer)用户请求需要负载均衡技术,其实在HBase很早的版本中已经实现了负载均衡,0.92版本后HBase的负载均衡算原创 2017-04-01 21:59:06 · 20087 阅读 · 0 评论 -
HBase学习之HRegionServer概述
在之前博文中分析了HMaster的启动以及其在整个系统中的作用,在本篇文章中,我们将继续讨论HBase中另外一个重要的角色—-HRegionServer,文章中所涉及的相关知识点会后续更新。**RegionServer的功能模块分析**话不多说,直接上图来看一下RegionServer的整体功能图(本文的整体思路亦是按照这个功能图展开的):从上图可以看出RegionServer是通过RPC协议与HM原创 2017-04-03 19:25:40 · 13547 阅读 · 1 评论 -
HBase学习之Region
Region是RS上的基本数据服务单位,用户表格由1个或者多个Region组成,根据Table的Schema定义,在Region内每个ColumnFamily的数据组成一个Store。每个Store内包括一个MemStore和若干个StoreFile(HFile)组成。如图(3)所示。本小节将介绍Store内的MemStore、StoreFile(HFile)的内部结构与实现。1. MemStore原创 2017-04-03 19:54:35 · 623 阅读 · 0 评论