CrazyPig的技术博客

HBase Bulk Loading使用实践

测试集群中使用Phoenix进行数据查询抛出InsufficientMemoryException，这篇文章主要介绍如何解决这个异常。

Lily HBase Indexer是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理hbase列索引数据的分布式服务软件。它是NGDATA公司开发的Lily系统的一部分，已开放源代码，源代码托管在github上。

是否存在高效的导出工具?Phoenix提供了BulkLoad工具来高效导入数据，那么Phoenix是否也存在高效导出数据的工具类呢？这里可能有人会想是否能够按照导出常规hbase的方法来导出数据。是否能这么干取决于你phoenix建表时候字段的数据类型。

Phoenix Salted Table是phoenix为了防止hbase表rowkey设计为自增序列而引发热点region读和热点region写而采取的一种表设计手段。通过在创建表的时候指定SALT_BUCKETS来实现pre-split。

经过对HBase Indexer一段时间的使用、测试、观察，发现通过Phoenix端导入到HBase表的数据与Solr那边的数据会产生不一致的现象，具体体现为Solr那边的数据会比HBase表数据少几千条或者更多。在公司测试环境以及试点项目生产环境下都会出现这个问题。

对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫描的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。例如，在定位某个人的时候，可以通过姓名、身份证号、学籍号等不同的角度来查询，要想把这么多角度的数据都放到rowkey中几乎不可能（业

在phoenix官网下载的phoenix-4.6.0-HBase-1.0/版本，无法适配cdh5.4的hbase(hbase版本为1.0.0)，使用sqlline.py连接hbase时候会报类似以下错误：Caused byjava.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Scan.setRaw(Z)Lorg/apach

Phoenix 提供了一个导入海量数据的MapReduce工具 CsvBulkLoadTool，根据官方的说明，使用这个工具可以高效地往hbase导入csv文本数据，内部会使用phoenix api去处理数据，包括数据类型、salt rowkey处理、索引表同步等等。但是使用这个工具类在导入数据量比较大的情况下reducer阶段却发生了OOM...

故障描述最近我们的测试HBase集群经常因为机房网络维护而奔溃掉，在集群奔溃以后重启HBase集群发现有大部分region没有online的情况，导致查询表数据的时候会出现如下异常：org.apache.hadoop.hbase.NotServingRegionException:...

对工作中预研Phoenix的使用做一些总结

HBase Indexer全名为Lily Hbase Indexer，是NGDATA公司为了将lily子系统里面相关HBase数据存储到Solr而开发的一个软件。NGDATA公司将源代码开源并托管在Github上，通过以下Github地址访问Hbase-Indexer项目主页及代码： https://github.com/NGDATA/hbase-indexer