hbase使用、运维、改进(不断更新)

最新推荐文章于 2025-06-10 10:25:43 发布

bluekeyv

最新推荐文章于 2025-06-10 10:25:43 发布

阅读量1.2w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： nosql hbase

本文链接：https://blog.youkuaiyun.com/kirayuan/article/details/8646517

本文分享了关于HBase的使用、运维经验以及常见问题，包括客户端hostname错误、Coprocessor中传递自定义类的问题、HBase的常用运维命令，如建表、删除表、Major Compaction等，并探讨了HBase的数据迁移策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

刚刚看了google jeff dean 在新的一年里发表的演讲，讲到各种系统配合使用完成海量数据处理任务。深有感触：http://t.cn/zYE89gn 。2013年，依然会专注hbase研究，并以此为基础扩展，对hbase衍生的一些特性和产品进行深入研究，例如replication、phoenix。从传统的离线计算（hadoop、hive），到实时流式计算系统（storm、s4），创新应用性接口（Impala、phoenix），这些hbase的上下游系统、接口扩展等都要进行全面的了解。

以hbase为基础，让各个面向不同使用场景的系统配合起来共同工作，打造大数据处理体系架构。需要学习的东西很多，2013年，加油！

1、hbase的client端hostname错误导致“Thu Mar 07 13:21:11 CST 2013, org.apache.hadoop.hbase.client.ScannerCallable@79ee2c2c, java.net.UnknownHostException”

理论上说，hbase的client端会去连接hbase cluster，通过集群返回查询结果，自身的hostname不会影响查询。直到遇到这个异常，通过代码发现client在做scan时会调用一个函数

/**
   * compare the local machine hostname with region server's hostname
   * to decide if hbase client connects to a remote region server
   * @throws UnknownHostException.
   */
  private void checkIfRegionServerIsRemote() throws UnknownHostException {
    String myAddress = DNS.getDefaultHost("default", "default");
    if (this.location.getHostname().equalsIgnoreCase(myAddress)) {
      isRegionServerRemote = false;
    } else {
      isRegionServerRemote = true;
    }
  }

该函数检查连接的region是否就是本地。所以client端去尝试本机的host时会报UnknownHostException异常

2、hbase的coprocessor中传递自定义类报不支持错误。在coprocessor中传递的对象，需要传递，所以需要序列化和反序列化

在ExecResult中，序列化和反序列化都依赖一个类HbaseObjectWritable，而这个类中需要声明的有以下3个参数

Class<?>declaredClass

Object instance

Configuration

同时，HbaseObjectWritable还规定了能够被识别的对象code，没有注册code的也依然会报错。

static {
    ////////////////////////////////////////////////////////////////////////////
    // WARNING: Please do not insert, remove or swap any line in this static  //
    // block.  Doing so would change or shift all the codes used to serialize //
    // objects, which makes backwards compatibility very hard for clients.    //
    // New codes should always be added at the end. Code removal is           //
    // discouraged because code is a short now.                               //
    ////////////////////////////////////////////////////////////////////////////

    int code = NOT_ENCODED + 1;
    // Primitive types.
    addToMap(Boolean.TYPE, code++);
    addToMap(Byte.TYPE, code++);
    addToMap(Character.TYPE, code++);
    addToMap(Short.TYPE, code++);
    addToMap(Integer.TYPE, code++);
    addToMap(Long.TYPE, code++);
    addToMap(Float.TYPE, code++);
    addToMap(Double.TYPE, code++);
    addToMap(Void.TYPE, code++);

    // Other java types
    addToMap(String.class, code++);
    addToMap(byte [].class, code++);
    addToMap(byte [][].class, code++);

    // Hadoop types
    addToMap(Text.class, code++);
    addToMap(Writable.class, code++);
    addToMap(Writable [].class, code++);
    addToMap(HbaseMapWritable.class, code++);
    addToMap(NullInstance.class, code++);

    // Hbase types
    addToMap(HColumnDescriptor.class, code++);
    addToMap(HConstants.Modify.class, code++);

    // We used to have a class named HMsg but its been removed.  Rath