leongfans的专栏

最近在给HBase做性能测试（0.89版本），发现了一个异常现象：HBase中实际加载的Region数量要远远大于对应的Table中的Region数量，此时已经无法通过disable关闭对应的表。   一开始系统通过重启HBase来解决这个问题。但是重启以后，发现加载的Region数量仍然远远大于Table中的实际Region数（也远远大于HDFS中对应的目录数量），所以一个是.META.表出...

编写HBase的C语言客户端，通过JNI调用JVM来实现 编译过程中出现如下错误 gcc -L/home/hadoop/media/jdk1.6.0_14/jre/lib/amd64/server -shared -o "libUdmslogParser" ./bytesUtil.o ./delete.o ./get.o ./hashtable.o ./hbase.o ./hdfs.o ./...

原文链接:http://blog.youkuaiyun.com/a221133/article/details/7085257   修复hbase region hole问题流程 1，查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失，考虑其他办法，    首先考虑用major_compact对该表进行更新看是否会...

[转]HBase性能调优 2011-10-12 7:00 因官方Book Performance Tuning 部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout 默认值 ：3分钟（180000ms）说明 ：RegionServer 与Z...

hbase性能测试，加载了一个晚上的数据，早上来时发现一个节点挂掉了，其他一切正常。 查看日志，发下如下问题 12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, reg...

数据中心的HBase（cdh3u3）集群已经稳定运行了差不多半年多了。由于前期规划的不合理，最近给所有的数据节点分批重装了一下系统，最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统，发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据 1、先用fsck进行文件系统检查，发现大约占用2T的空间（*3约等于6T，数据重量差不多就是这么多），并没有数据块有过多的备份。 2、查看...