因为公司业务需要，我们使用了Fluentd收集日志，但是现在hbase的thrift接口中关于批量插入hbase的记录中不能设置每条记录的timestamp，满足不了业务的需要，所以和同事东杰合作，将thrift接口修改了，记录以备忘。同时，如果需要扩展thrift，也是一个很好的开始。        首先，找到org.apache.haddop.hbase.thrift.generated.

点击打开链接

http://bbs.hadoopor.com/thread-71-1-1.html

package com.gamewave.dataservices.dataanalysis.weblog;import com.gamewave.dataservices.util.HTableUtil;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;i

hbase应用查询工具HBaseManager，支持界面查询，但是不支持sql语句查询，下载地址：http://sourceforge.net/projects/hbasemanagergui/

之前在集群上安装了hbase的一个版本，后来因该版本不稳定，切换为另一版本，这时候就需要清理zookeeper的记录了，具体方法如下：1.切换到zookeeper的bin目录；2.执行$sh zkCli.sh[hadoop@host hadoop]$ cd zookeeper-3.4.5/bin[hadoop@host bin]$ ./zkCli.sh Connecting to

hbase的加载hfile文件工具CompleteBulkLoad：$ bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles 但是，CompleteBulkLoad并不能支持多个目录的情况：所以只能自己写个shell脚本将多个目录中存在的hfile文件加载到hhbase中：#!/bin/bashf

hbase集群不够用了，新增加了一台。但是新增的机器的numberOfOnlineRegions值始终是0，就是不做balance。郁闷了。查看master的日志，有时会有如下错误信息：org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy interface org.apa

HBase是一个分布式的、非关系型开源数据库。 HBase有如下几个特点：首先HBase是No-SQL的一个典型实现，提升了系统的可扩展性；其次HBase支持线性水平扩展，极大提升了系统的可伸缩性和运算能力；最后HBase和Google的BigTable有异曲同工之妙，底层也是建立在HDFS(Hadoop分布式文件系统)之上，可以搭建在廉价的PC机集群上。No-SQL、云计算、海量数据分析的普及，

hbase中scan.setTimeRange(startRange, stopRange)的范围是大于等于startRange，小于stopRange的，一定要注意。比如scan.setTimeRange(13641412542L, 1365000000L)中, 时间戳为1365000000L的值不会被扫中，而时间戳为13641412542L的值会被扫中。

前言       每天进行hbase 的shell操作，极为不便，虽有hive可以进行查询，但是效率之低，时间之慢也非常无奈，于是便想着自己写一些接口可以实现hbase的普通查询、统计、分组等功能，经过近1天的努力，终于完成了一些功能，还在不断完善，希望可以给一些hbase的同行们提供一些方便。思路 将开发好的hsql.jar上传到hbase的安装目录下：[root

构建和运维HBase集群是一个非常有挑战性的工作。HBase凭借其在海量数据的良好的扩展性和高效的读写能力，受到越来越多公司的重视。在公司里，HBase越来越受欢迎。希望通过HBase读写数据的产品越来越多，在兴奋之余，头疼的问题也来了。毕竟，作为线上的产品，我们不希望过多人随意的访问，会照成很多潜在的风险，比如误删，误操作。但是，如果所有事情都有管理员处理，沟通的代价就会很高，而且管理员不得

不知不觉，搞hbase也有一段时间了，期间有痛苦，也有欢乐，不管过程有多么艰难与漫长，但结果还是可喜的。现总结一下hbase在使用过程中的一些经验和看法：1.源码在学习的过程中，要敢于碰 源码。虽然不一定所有的源码都要看，但是也要针对自己要解决的问题，查找源代码，其实大牛们写的代码是比较费劲，但是只要静下心来看，还是有很大收获的。另外，不要全部相信源码，有时候源码中会有很多bug，

HBase索引过程的实现确实是一个头两个大，一直在研究这方面的资料，苦不堪言呐！不过经过一系列的测试和分析，得出一个结论：自己创建索引！理由有二：一、ITHBase、IHBase等等三方项目创建索引，基本思路就是创建一个额外的索引表，然后建立同步机制。这样问题来了：      1.冗余比较大。我做过ITHBase的实验，基本是原表的每行数据在索引表中都创建一条，如下：

linux版本1.0需要打包上传到服务器，并进行一系列的部署才能使用本地版本1.0，实现界面操作，主要完成：前期的框架实现，界面的布局，基本sql语句的开发工作。分组统计使用select * from tables 可查询所有表的功能；create、delete、drop、describe批量执行sql语句多表

最近一直在搞hbase sql工具的本地化，有时候受限于网络连接，不是很理想。        于是开始琢磨能不能将sql的查询放在hbase的shell命令中，类似list的命令，可以将所有表都显示出来。        步骤如下：1.找到$hbasepath\lib\ruby目录，结构及作用如下：hbase/ ：定义要加载的java类的ruby文件； 比如ad

1 Phoenix概览         Phoenixis a SQL layer over HBase, delivered as a client-embedded JDBC driver, poweringthe HBase use cases at Salesforce.com. Phoenix targets low-latency queries(milliseconds), as

本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是他对HBase Coprocessor的一些分析，分享给大家。原文地址：http://walkoven.com/?p=77文章PDF下载：hbase coprocessor的分析.pdfhbase Coprocessor是很多人

coprocessor before：         客户端执行一个hbase查询命令，集群将所有符合的数据返回给客户端，然后客户端遍历ResultScanner，进行计算等操作；coprocessor after：         客户端执行一个hbase查询命令，集群将该scan转换为多个scan并发在服务端执行，将计算等操作后的结果传给客户端进行组装。

1.起因(Why HBase  Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(2.灵感来源( Source of Inspration)HBase协处理器的灵感来自于Jeff Dean 09年的演讲( P66-67)。它根据该演讲实现了类似于bigtable的协处理器，包括以下特性: