HBase
关注
分享
扫一扫
文章平均质量分 67
axxbc123
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【HBase一】HBase概述
1. Hadoop生态系统 底层是存储(HDFS),上层是计算框架 从图中可以看出，Hive、Pig和Mahout是基于MapReduce的计算框架，分别用于结构化数据的即席查询，数据流处理以及基于MapReduce的机器学习算法集 HBase依赖于HDFS，HBase这个圆角矩形框在高度上= MapReduce + 基于MapReduce的计算框架，这是不是说，HBase...原创 2015-03-11 13:50:29 · 347 阅读 · 0 评论 -
【HBase十二】HFile存储的是一个列族的数据
在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证 1. 建立一个有两个列族的表 create 'members','colfam1','colfam2' 2. 在members表中的colfam1中插入50*50*50条数据，然后flu...原创 2015-04-16 13:51:19 · 1566 阅读 · 0 评论 -
【HBase十一】Java API操作HBase
Admin类的主要方法注释： 1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is reserv...原创 2015-04-13 14:22:42 · 178 阅读 · 0 评论 -
【HBase十】HBase存储文件HFile剖析
1. 首先看看HBase中存储的文件内容 执行如下命令添加测试数据： create 'table3', 'colfam1', { SPLITS => ['row-300', 'row-500', 'row-700' , 'row-900'] } for i in '0'..'9' do for j in '0'..'9' do for k in '0'..'9' do put...原创 2015-04-10 16:07:49 · 380 阅读 · 0 评论 -
【HBase九】HBase架构
1. Zookeeper Dump 访问HBase的web页面：http://192.168.26.140:16030/zk.jsp HBase is rooted at /hbase Active master address: hadoop.master,16020,1428562242762 Backup master addresses: Region server h...原创 2015-04-10 14:26:02 · 290 阅读 · 0 评论 -
【HBase八】HBase数据查找过程
第一步，客户端访问Zookeeper，获取-ROOT-表位于哪个Region Server上，假如此时是R 第二步，客户端访问Region Server R上的-ROOT-表，获取指定表的.META.表位于哪个Region Server上，此时假如是M1 第三步，客户端访问Region Server M1上的.META.表，确定指定的表和RowKey所在的Regio...原创 2015-03-18 13:10:08 · 352 阅读 · 0 评论 -
【HBase七】HBase伪分布式安装
Hadoop2.5.2 HBase1.0.0 1.安装Hadoop HBase数据存储在HDFS中，因此在安装HBase需要首先安装Hadoop 2. 安装HBase 2.1 下载HBase http://mirror.bit.edu.cn/apache/hbase/hbase-1.0.0/hbase-1.0.0-bin.tar.gz 2.2 修改配置文件hba...原创 2015-03-12 20:47:25 · 195 阅读 · 0 评论 -
【HBase六】REST操作HBase
HBase提供了REST风格的服务方便查看HBase集群的信息，以及执行增删改查操作 1. 启动和停止HBase REST 服务 1.1 启动REST服务 前台启动（默认端口号8080） [hadoop@hadoop bin]$ ./hbase rest start 后台启动 hbase-daemon.sh start rest 启动时指定REST服务端口号 [...原创 2015-03-12 20:00:16 · 461 阅读 · 0 评论 -
【HBase五】Java API操作HBase
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache....原创 2015-03-12 18:23:24 · 138 阅读 · 0 评论 -
【HBase四】HBase系统架构
1. HBase系统架构 HBase集群由如下角色组成： Zookeeper集群，提供HMaster的HA以及分布式配置管理服务 HMaster：Active Master和用于HA的Backup Master HRegion Servers：HBase集群中负责数据存储的服务器，类似Master/Slave架构中的Slave HRegion：用于存储HBase表中的部分...原创 2015-03-12 15:01:13 · 284 阅读 · 0 评论 -
【HBase三】HBase物理模型
HBase物理存储 Table中的所有行都按照row key的字典序排列 Table 在行的方向上分割为多个Region（意思是一个Region多个行） Region按大小分割的(按照rowkey进行划分)，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的reg...原创 2015-03-12 14:57:27 · 448 阅读 · 0 评论 -
【HBase二】HBase数据模型
HBase是基于Google BigTable模型开发的，典型的key/value系统 1. HBase数据模型基本结构 2. HBase数据模型的基本概念 Schema，Table 1. HBase schema可以有多个Table 2. 每个Table可由多个Column Family组成。 3. HBase列族中...原创 2015-03-11 22:23:34 · 313 阅读 · 0 评论 -
【HBase十三】HBase知识点总结
1. 数据从MemStore flush到磁盘的触发条件有哪些？ a.显式调用flush，比如flush 'mytable' b.MemStore中的数据容量超过flush的指定容量，hbase.hregion.memstore.flush.size,默认值是64M 2. Region的构成是怎么样？ 1个Region由若干个Store组成，每个Store对应表的一个Col...原创 2015-04-16 14:34:48 · 267 阅读 · 0 评论