dajuezhao的专栏

一、安装准备 1、下载HBASE 0.20.5版本：http://www.apache.org/dist/hbase/hbase-0.20.5/ 2、JDK版本：jdk-6u20-linux-i586.bin 3、操作系统：Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 4、默认前提是安装完hadoop 0.20.2版本：    

Hbase的Memstore固化为Hfile的主要触发条件为三个： 1、Hlog的存储文件数目达到上限32（默认配置），一个Hlog的大小默认配置为HDFS的block的95%，这样的话，假定HDFS的块大小为64M，32个文件的话，可以存储的数据量为2G左右。 如果当Hlo

这里有一些关于性能调优参数的总结和说明，其中有一些自己的经验以及参数书籍《HBase The definitive Guide》： 第一章：GC的相关参数配置 1.swap的设置: 我们需要关闭操作系统的swap或是设置swappiness为0，推荐设置为0，这样只有

目前系统上线，不断的有新问题，也不断的在总结一些经验，发在这里，做下mark，同时也为hbase使用者提供一些思路吧。1、单条rowkey下虽然能支持百万列，但是建议不要这么做，因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题，一是查询时单行记录数据量过大，cl

今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下：         at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)        at s

一、环境HBase版本hbase-0.20.5，Hadoop的版本hadoop-0.20.2，JDK1.6二、需求背景      在HBase中，进行条件查询，很多的文件都说过，但是大多数都是在说明如何设置合理的表结构以及如何设置rowkey进行查询检索，

这个文档置顶很久了，还是写点东西吧。HBase这个东西的入库速度说实在的，在多列族的情况下表现很一般，实在是不值得提。具体的原因是由于多列族在hbase的写入机制决定的，有兴趣的可以在网上找找资料，这里我只说单列族的情况下的我的测试结果：集群的规模为9(S)+

1.        数据rowkey散列方便入库速度提升2.        一般内存至少配置32G、8核CPU、硬盘不做Raid，系统盘和存储盘分开3.        10台节点入库一个列族的表request数量应该在20W左右4.        Bulk Load增

1、hbase对于内存有特别的嗜好，在硬件允许的情况下配足够多的内存给它。     通过修改hbase-env.sh中的     export HBASE_HEAPSIZE=3000 #这里默认为1000m2、修改java虚拟机属性     (1)、在环境允许的情况下换64位的虚拟机     (2)、替换掉默认的垃圾回收器，因为默认的垃圾回收器在多线程环境下会有更多的wait等待     ex

性能测试小结： 测试环境： 机器：1 client 5 regin server 1 master 3 zookeeper 配置：8 core超到16 /24G内存，region server分配了4G heap /单seta磁盘,raid10后500GB 系统：Red Hat Enterprise Linux Server release 5.4 版本：hadoop-0.20.2+737 / hbase-0.90.1 / Java HotSpot(TM) 64-Bit

以下为使用hbase一段时间的三个思考，由于在内存充足的情况下hbase能提供比较满意的读性能，因此写性能是思考的重点。希望读者提出不同意见讨论 1 autoflush=false的影响     无论是官方还是很多blog都提倡为了提高hbase的写入速度而在应用代码中设置autoflush=false，然后lz认为在在线应用中应该谨慎进行该设置。原因如下：     a autoflush=false的原理是当客户端提交delete或put请求时，将该请求在客户端缓存，直到数据超过2M(hbase.c

<br />一、 简介<br />history<br /><br />started by chad walters and jim<br />2006.11 G release paper on BigTable<br />2007.2 inital HBase prototype created as Hadoop contrib<br />2007.10 First useable Hbase<br />2008.1 Hadoop become Apache top-level project an

<br /><br />做了几天工程，对HBase中的表操作熟悉了一下。下面总结一下常用的表操作和容易出错的几个方面。当然主要来源于大牛们的文章。我在前人的基础上稍作解释。<br />1.连接HBase中的表testtable,用户名：root,密码：root<br />public void ConnectHBaseTable()<br /> {<br />  Configuration conf = new Configuration();       <br />        conf.set("h

一、概述      HBase是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time相应提供了很好的一个开源解决方案.据说在某运营商中使用类似于BigTable(个人猜测应该就是HBase)的技术可以在两秒时间内从2TB数据中查找到某条话费记录.而这是原来该运营商使用Or

1、HBase版本hbase-0.20.5，Hadoop的版本hadoop-0.20.2，JDK1.6 2、如果想通过MR对hbase进行一些操作，首先是需要做一些配置内容的，配置的流程如下： a、默认安装完成了hadoop和hbase b、首先引入环境变量(修改/etc/profile文件，在文件末尾追加下面内容)： # set java environmentexport JAVA_HOME=/usr/java/jdk1.6.0_20export JRE_

1、HBase版本hbase-0.20.5，Hadoop的版本hadoop-0.20.2，JDK1.6 2、在HBase中创建了表，如果想通过控制台使用命令写入含有汉字的数据，录入是不成功的。 3、如果想对汉字进行录入，可以通过代码实现，这里我使用的是java，代码如下： /** * 向指定的表插入单个Put对象 * * @param tablename * @param conf * @throws Exception */

修复hbase region hole问题流程1，查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失，考虑其他办法，   首先考虑用major_compact对该表进行更新看是否会检测到问题并修复，major_compact完成之后未成功   2，重新起动hbase集群，是否会进行闭环检测？未成