好读书，每有会意，便欣然忘食。

分类： hbase 2012-12-26 14:13 1011人阅读 评论(0)收藏 举报hbaseHBASE服务器集群目录(?)[+]Hbase Replication 介绍现状常用的在线备份方案及其比较原理Replication 总体结构Replication 工作流程Replication Class 简介Replication Zooke

HBase 系统架构图　　　　组成部件说明 　　Client： 　　使用HBase RPC机制与HMaster和HRegionServer进行通信 　　Client与HMaster进行通信进行管理类操作 　　Client与HRegionServer进行数据读写类操作 　　Zookeeper： 　　Zookeeper Quorum存储-ROOT-表地址、HMa

HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosystem中的位置。二、逻辑视图HBase以表的形

HBase 系统架构图　　　　组成部件说明 　　Client： 　　使用HBase RPC机制与HMaster和HRegionServer进行通信 　　Client与HMaster进行通信进行管理类操作 　　Client与HRegionServer进行数据读写类操作 　　Zookeeper： 　　Zookeeper Quorum存储-ROOT-表地址、HMa

最近公司搭建hadoop+hbase+zookeeper集群，期间遇到了许多问题，这里和大家分享一下安装的一些经验，目的在于大家在部署hadoop集群环境中少走一些弯路：  由于刚开始的时候我用虚拟机安装，安装版本是hadoop0.20.2+hbase0.90.3+zookeeper3.3.3版本，在测试hbase集群的时候hmaster不能正常启动或者是启动后进程自杀（在网上找到的答案应该是虚拟

一. 介绍      HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。       HBase以表

原理是后台查询出所有的数据，然后在后台封装分页对象，其中可以设置过滤器等。import java.io.IOException;import java.util.LinkedHashMap;import java.util.LinkedList;import java.util.List;import java.util.Map; import org.apache.commons

引言 -- 参数基础有两个参数类在各类Filter中经常出现，统一介绍下：（1）比较运算符 CompareFilter.CompareOp比较运算符用于定义比较关系，可以有以下几类值供选择：EQUAL                                  相等GREATER                              大于GRE

base过滤器的比较操作符：LESS  LESS_OR_EQUAL EQUAL =NOT_EQUAL GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器：BinaryComparator  按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[])

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。 HBase架构组成

在hbase的命令行中，可以直接使用filter进行scan，命令如下所示import org.apache.hadoop.hbase.filter.CompareFilterimport org.apache.hadoop.hbase.filter.SingleColumnValueFilterimport org.apache.hadoop.hbase.filter.Subst

HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。简单地说，有那么一点点类似人群划分，1-15岁为小朋友,16-39岁为年轻人

HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosystem中的位置。二、逻辑视图HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row fami

从HBase的架构图上可以看出，HBase中的存储包括HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，本篇文章统一介绍他们的作用即存储结构。以下是网络上流传的HBase存储架构图:HBase中的每张表都通过行键按照一定的范围被分割成多个子表（HRegion），默认一个HRegion超过256M就要被分

本文以HBase 0.90.2为例，介绍如何在Windows系统，Eclipse IDE集成环境下，使用Java语言，进行HBase客户端编程，包含建立表、删除表、插入记录、删除记录、各种方式下的查询操作等。1. 准备工作1、下载后安装jdk包（这里使用的是jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008）；2、下载eclipse，解压

1.快速单机安装：在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载 HBase Releases. 点击 stable目录，然后下载后缀为 .ta

HBase简介author: 莫问 forward from: http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google

Hadoop0.20.203.0的配置请参看：http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html网上使用Hadoop0.20.203.0+Hbase0.90.4的完全分布式配置很少，折腾了几天才搞定。现在作个记录。一、安装准备1、下载hbase0.90.42、默认前提已经安装好hadoopname

本文主要参考官网的Getting Started（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd zookeeper创建一个新的用户，并加入group,$ sudo useradd -g zookeepe

一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop b

abc

HBase是Hadoop的数据库，能够对大数据提供随机、实时读写访问。他是开源的，分布式的，多版本的，面向列的，存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构，如下图：HBase Master是服务器负责管理所有的HRegion服务器，HBase Master并不存储HBase服务器的任何数据，HBase逻辑上的表可能会划分为多个HRegion，然后存储在HRegion

首先，可以设置scan的startRow, stopRow, filter等属性。于是两种方案：1.设置scan的filter，然后执行mapper，再reducer成一份结果2.不用filter过滤，将filter做的事传给mapper做进行了测试，前者在执行较少量scan记录的时候效率较后者高，但是执行的scan数量多了，便容易导致超时无返回而退出的情况。而为了实现后者

一、shell 查询hbase 查询相当简单，提供了get和scan两种方式，也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表，用sql语句自动生成mapreduce进行。但是这种简单，有时为了达到目的，也不是那么顺手。至少和sql查询方式相差较大。hbase 提供了很多过滤器，可对行键，列，值进行过滤。过滤方式可以是子串，二进制，前缀，正则比较等。条件可以是AND,O

Sumary:ProtobufBinarySearch    本篇主要讲HFileV2的相关内容，包括HFile的构成、解析及怎么样从HFile中快速找到相关的KeyValue.基于Hbase 0.98.1-hadoop2,本文大部分参考了官方的资源，大家可以先阅读下这篇官方文档，Reference Guide:http://hbase.apache.org/book/