iAm333的专栏

上文介绍过flume数据插入hdfs和普通目录，本文继续介绍flume-ng将数据插入hbase-0.96.0.首先，修改node中flume文件夹下conf目录中的flume-node.conf文件（原配置参考上文），对其做如下修改：agent.sinks = k1agent.sinks.k1.type = hbaseagent.sinks.k1.table = helloage

本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级

hadoop 2.2.0 和hbase 0.98 安装snappy压缩教程

本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题：什么是HBase？何时用HBase？与Hive、Pig的区别？HBase的结构为何HBase速度很快？HBase常用的操作有哪些？HBase的一些配置和监控什么是HBase？HBase，是Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉

1、安装Java（此处假定安装目录位/usr/local）1）下载jdk（jdk-7），下载地址如下：32位：http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-i586.tar.gz64位：http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk

HBase复制是一种在不同HBase部署中复制数据的方法。它可以作为一种故障恢复的方法，并提供HBase层次的高可用性。在实际应用中，例如，可以将数据从一个面向页面的集群复制到一个MapReduce集群，后者可以同时处理新数据和历史数据。然后再自动将数据传回面向页面请求的集群。HBase复制中最基本的架构模式是“主推送”（master-push），因为每个region server都有自己的W

我们在上一篇文章《HBase复制》中讲述了如何建立主/从集群，实现数据的实时备份。但是，HBase复制只对设置好复制以后的数据生效，也即，配置好复制之后插入HBase主集群的数据才能同步复制到HBase从集群中，而对之前的历史数据，采用HBase复制这种办法是无能为力的。本文介绍如何使用HBase的导入导出功能来实现历史数据的备份。1）将HBase表数据导出到hdfs的一个指定目录中，具体命令

文章《HBase备份之导入导出》介绍了使用HBase的自带工具Export和Import来实现在主集群和从集群之间拷贝表的目的。本篇介绍一种相比导入导出而言，更快速的一种备份办法。即ExportSnapshot。1、ExportSnapshot和Export类似，ExportSnapshot也是使用MapReduce方式来进行表的拷贝。不过和Export不同，ExportSnapsho

今天在hbase中创建快照的时候遇到了如下错误：hbase(main):004:0> snapshot 'booking', 'booking-snapshot-20140912'ERROR: org.apache.hadoop.hbase.snapshot.HBaseSnapshotException: Snapshot { ss=booking-snapshot-20140912 ta

Apache HBase是Hadoop的分布式开源的存储管理工具，非常适合随机实时的io操作。我们知道，Hadoop的Sequence File是一个顺序读写，批量处理的系统。但是为什么HBase能做到随机的，实时的io操作呢？Hadoop底层使用Sequence File文件格式存储，Sequence File允许以追加的方式增加k-v（Key-Value）数据，根据hdfs的appen

本文整理汇总了本博客自去年学习HBase以来写的所有关于HBase的相关内容。持续更新中，更多内容，敬请关注！相关知识：1、《布隆过滤器（Bloom Filter）》2、《7-bit整数(Integer)压缩算法》3、《Java NIO（上）》《Java NIO（下）》HBase安装：1、《CentOS分布式环境安装HBase-0.96.0》2、《centos集群上

什么是布隆过滤器？

hbase-0.98版已经出了，主要的改变有以下几点：1、修复了一些bug，添加了cell可视化标签、cell ACLs和透明的服务器端加密。2、一些性能改进包括：预写式日志线程模型，在高负载下提高了事务吞吐量；反向扫描；在快照文件上的mapreduce；striped compactionHBase 0.98主要基于单元格的安全在安全性上趋同于Apache Accumulo（和hba

public void createTable(String tableName, String[] families) {        HBaseAdmin admin = null;        try {            admin = new HBaseAdmin(config);            if (admin.tableExists(tableNam

在我们安装好hbase之后，需要对linux内核进行一些设置。像其他数据库一样，hbase也会在同一时间打开大量文件，而linux限制了每个进程打开的文件描述符的数目（默认是1024）。为了让hbase平滑运行，我们需要为运行hbase的用户增加同一时间打开的最大文件描述符的数目。同时，我们也应该增加hadoop用户的nproc设置。nproc设置制定了一个用户能够同时运行的最大进程数目。如果

配置单机环境：1、编辑$HBASE_HOME/conf/hbase-env.sh，添加JAVA_HOME（将$HBASE_HOME替换为HBase所在目录路径）。2、编辑$HBASE_HOME/conf/hbase-site.xml，配置本地存储目录。如下： hbase.rootdir file:///usr/local/hbase/var/hbase3、在单机环境下

Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的

一、安装zookeeper在安装好分布式hadoop的环境下，继续安装zookeeper-3.4.5。修改zookeeper的配置文件。执行下面命令$ wget http://124.202.164.9/download/32878722/41763290/4/gz/165/152/1353566847397_152/zookeeper-3.4.5.tar.gz$ tar -xf zo

最近由于业务需要，需要将flume的数据插入HBase-0.96,利用flume的实时日志收集，实现数据的实时存储。正如前文所述，flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置，只需要做一些相关配置，实现自己的HbaseEventSerializer类，重新编译flume-ng-hbase-sink部分源码并打包即可。但是因为公司以前业务的日志收集使用的fl

1.YCSB简介YCSB的全称是Yahoo! Cloud Serving Benchmark，这是一个用于测试cloud serving/NoSQL/Key-Value Store的benchmark。论文发表在SoCC’10，代码开源。有很多出色的工作（包括SILT@SOSP’11，HyperDex@SIGCOMM’12）使用YCSB进行测试。为了了解hbase-0.96.0的性能，因此学习

1）简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将even

配置多功能高可用性masterhadoop和hbase被设计的可以自动在slave节点间进行故障转移。由于在大型集群中有很多节点，一个slave节点的服务器的硬件故障被认为是正常的。对于主节点，hbase本身没有单点故障（SPOF）。它使用zookeeper来提供中央协调服务。zookeeper通常有3个或者更多个服务器，只要集群中超过半数的服务器在线，zookeeper就正常的提供服务。

首先，需要将《使用Phoenix连接HBase-0.96.0》

Phoenix是一个中间件，使用它可以让你在hbase这种nosql数据库上使用sql语句进行数据库操作。

1、出现版本不一致错误如果启动时出现版本不一致的错误，如下所示：Server IPC version 10 cannot communicate with client version.........为了兼容Hadoop-2.2.0，需要将hbase的lib包中的内容lib包中的hadoop-common-2.1.0-beta.jar替换成hadoop-2.2.0/share/had