hbase问题及操作汇总

最新推荐文章于 2024-02-11 15:14:51 发布

warrah

最新推荐文章于 2024-02-11 15:14:51 发布

阅读量883

点赞数 1

分类专栏：岁月云——大数据杂烩文章标签： hbase

本文链接：https://blog.youkuaiyun.com/warrah/article/details/78841719

版权

岁月云——大数据杂烩专栏收录该内容

76 篇文章

订阅专栏

Lars George著的《HBase 权威指南》中HBase存储数据的设计，有两种方式，一种是高表，一种是宽表。由于HBase是按行分片，所以高表设计更有优势。
1 ERROR: Can’t get master address from ZooKeeper; znode data == null
可以参考解决思路1，不过还有一种原因，就是hbase服务没起来。
2 hbase命名空间操作
参考HBase常用操作之namespace
3 hbase基本操作
参考HBase基本数据操作详解
参考Hbase shell 常用命令（1）
4 hbase中row Key的设计
可以参考大数据性能调优之HBase的RowKey设计对hbase的RowKey进行设计，这篇文章中列举了几种设计方式：针对事务数据Rowkey设计、针对统计数据的Rowkey设计、针对通用数据的Rowkey设计、支持多条件查询的RowKey设计。个人觉得多条件查询还是有一定的研究价值。
5 ERROR: Table xxx is enabled. Disable it first.

6 无法scan snappy创建的表
我使用create 'iw:invoice',{NAME=>'i',VERSIONS=>1,COMPRESSION=>'SNAPPY'}创建的表,再通过scan 'iw:invoice'却提示如下错误

ERROR: No server address listed in hbase:meta for region iw:invoice,,1514171781388.53a4b885aa793e4d2ed860408f9626ea. containing row

但不是压缩算法的时候，这个值是可以写入到hbase中的
分析、解决java访问HBase 1.2.4时put数据卡住很久并报错：Failed to get region location，这篇文章列出一些可能性，不过对我没有什么参考价值。

使用GZIP压缩算法，就没有这个问题。很奇怪。

如果说不支持SNAPPY算法，会提示下面的错误,但是创建的时候有没有这异常。

ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Compression algorithm 'lzo' previously failed test. Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks
        at org.apache.hadoop.hbase.master.HMaster.warnOrThrowExceptionForFailure(HMaster.java:1603)
        at org.apache.hadoop.hbase.master.HMaster.sanityCheckTableDescriptor(HMaster.java:1542)
        at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:1452)
        at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:429)
        at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java:52195)
        at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2117)
        at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:104)
        at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:133)
        at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:108)
        at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.hadoop.hbase.DoNotRetryIOException: Compression algorithm 'lzo' previously failed test.
        at org.apache.hadoop.hbase.util.CompressionTest.testCompression(CompressionTest.java:91)
        at org.apache.hadoop.hbase.master.HMaster.checkCompression(HMaster.java:1686)
        at org.apache.hadoop.hbase.master.HMaster.checkCompression(HMaster.java:1679)
        at org.apache.hadoop.hbase.master.HMaster.sanityCheckTableDescriptor(HMaster.java:1540)
      8

或许真正的原因是，我没有安装snappy。参考在hadoop2.X集群中安装压缩工具snappy（主要用于hbase）这篇文章安装snappy。
snappy安装到root用户下，这里还得特别强调一下，hadoop-2.6.0-cdh5.9.0-src.tar.gz执行mvn指令前，需要准备好基础环境

yum -y install gcc gcc-c++ libtool cmake maven zlib-devel

编译的过程中会遇到一些问题，有一些问题解决方案可以参考hadoop2.2.0编译–错误解决办法(转),还有Ubuntu编译Hadoop编码异常总结,
最终解决方案在我的这篇文章中hbase snappy问题得以解决。
7 hbase数据库的表现
执行scan 'iw:test09',{LIMIT=>10}，可以看到这些数据的row_key相同，但是关系型数据库中的列在这里成为了行记录。