JDBC-连接hbase

博客提及HBase开发的依赖,指出version为当前HBase版本,涉及Java相关代码。

依赖:(version即为当前HBase版本)

 <dependency>
 <groupId>org.apache.hbase</groupId>
 <artifactId>hbase-client-project</artifactId>
 <version>1.3.1</version>
 </dependency>

 <dependency>
 <groupId>org.apache.hbase</groupId>
 <artifactId>hbase-it</artifactId>
 <version>1.3.1</version>
 </dependency>

代码:

public class HBASEClientDemo {
    @Test
    public void createTable() throws IOException {
        //1.获取hbase连接,配置
        //hbase.zookeeper.property.clientPort
        Configuration conf = HBaseConfiguration.create();
        
        //ATTENTION PLEASE!!!        
        //" IP_ADDRESS " 处,输入对应的虚机的IP地址,或者输入对应的虚机的主机名
        conf.set("hbase.zookeeper.quorum"," IP_ADDRESS ");
        //" 端口号 " 处,输入对应的端口号
        conf.set("hbase.zookeeper.property.clientPort"," 端口号 ");
    
    
    //2.创建连接
    Connection conn = ConnectionFactory.createConnection(conf);
    //3.创建admin
    Admin admin = conn.getAdmin();
    //4.创建表的相关信息,表名
    HTableDescriptor student = new HTableDescriptor(TableName.valueOf("student"));
    //5.添加列族信息
    student.addFamily(new HColumnDescriptor("info"));
    student.addFamily(new HColumnDescriptor("score"));
    //6.调用创建表的方法进行建表操作
    admin.createTable(student);
    //7.关闭连接
    conn.close();
}

@Test
public void putData2Table() throws IOException {
    //1.配置
    Configuration conf = HBaseConfiguration.create();
    
    //ATTENTION PLEASE!!!       
    //" IP_ADDRESS " 处,输入对应的虚机的IP地址,或者输入对应的虚机的主机名
    conf.set("hbase.zookeeper.quorum"," IP_ADDRESS ");
    //" 端口号 " 处,输入对应的端口号
    conf.set("hbase.zookeeper.property.clientPort"," 端口号 ");
    
    
    //2.创建连接
    Connection conn = ConnectionFactory.createConnection(conf);
    //3.获取table
    Table student = conn.getTable(TableName.valueOf("student"));
    //4.往表中添加数据
    Put put = new Put(Bytes.toBytes("1001"));
    //5.添加列 info:name zhangsan
    put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("zhangsan"));
    put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("gender"),Bytes.toBytes("male"));
    put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(10));
    //6.插入数据
    student.put(put);

    //7.关闭连接
    conn.close();
}
//读取数据
@Test
public void getDataFromTable() throws IOException {
    //1.配置
    Configuration conf = HBaseConfiguration.create();
  
    //ATTENTION PLEASE!!!        
    //" IP_ADDRESS " 处,输入对应的虚机的IP地址,或者输入对应的虚机的主机名
    conf.set("hbase.zookeeper.quorum"," IP_ADDRESS ");
    //" 端口号 " 处,输入对应的端口号
    conf.set("hbase.zookeeper.property.clientPort"," 端口号 ");
    
    
    //2.连接
    Connection conn = ConnectionFactory.createConnection(conf);
    //3.获取table
    Table student = conn.getTable(TableName.valueOf("student"));
    //4.读取数据,Get
    Get get = new Get(Bytes.toBytes("1001"));
    //5.获取结果
    Result result = student.get(get);

    //6.遍历
    Cell[] cells = result.rawCells();
    for (Cell cell : cells) {
        //获取具体的值
        System.out.println("rowkey:"+Bytes.toString(CellUtil.cloneRow(cell)));
        System.out.println("列族:"+Bytes.toString(CellUtil.cloneFamily(cell)));
        System.out.println("列名:"+Bytes.toString(CellUtil.cloneQualifier(cell)));
        System.out.println("value:"+Bytes.toString(CellUtil.cloneValue(cell)));
        System.out.println("------------------------------------");
    }
    conn.close();
}
//删除数据
public void dropTable() throws IOException {
    //1.配置
    Configuration conf = HBaseConfiguration.create();
    
    //ATTENTION PLEASE!!!
    //" IP_ADDRESS " 处,输入对应的虚机的IP地址,或者输入对应的虚机的主机名
    conf.set("hbase.zookeeper.quorum"," IP_ADDRESS ");
    //" 端口号 " 处,输入对应的端口号
    conf.set("hbase.zookeeper.property.clientPort"," 端口号 ");
    
    
    //2.连接
    Connection conn = ConnectionFactory.createConnection(conf);
    //3.get admin
    Admin admin = conn.getAdmin();
    //4.禁用表
    admin.disableTable(TableName.valueOf("student"));
    //5.删除表
    admin.deleteTable(TableName.valueOf("student"));
    conn.close();
}

}

### Sqoop导入数据到HBase时命令执行卡住的原因分析 Sqoop导入数据到HBase时,如果命令执行卡住且无法继续,可能是由以下原因导致的: 1. **网络连接问题** 如果Sqoop与目标HBase集群之间的网络连接不稳定或中断,可能会导致命令卡住。例如,JDBC连接超时或网络延迟可能导致任务长时间停留在某个阶段[^2]。 2. **资源不足** Hadoop或HBase集群的资源(如内存、CPU)不足可能导致任务卡住。例如,YARN队列中的资源分配不足,或者HBase RegionServer负载过高,都会影响任务的正常运行[^5]。 3. **HBase表设计问题** 如果HBase表的设计不合理(如预分区不足或Region分布不均),可能会导致数据写入时出现瓶颈,进而使Sqoop任务卡住[^3]。 4. **Sqoop参数配置不当** Sqoop的参数配置可能会影响任务的执行效率。例如,`--m`参数设置过大或过小,`--split-by`字段选择不当,都可能导致任务卡住[^5]。 5. **HBase WAL(Write-Ahead Log)问题** HBase在写入数据时会先写入WAL。如果WAL刷盘速度跟不上写入速度,可能会导致任务卡住。此外,WAL相关配置(如`hbase.regionserver.wal.codec`)也可能影响性能[^3]。 6. **MapReduce任务失败或挂起** Sqoop通过MapReduce将数据从MySQL导入HBase。如果MapReduce任务失败或挂起,可能会导致整个Sqoop任务卡住。可以通过检查YARN日志或MapReduce任务状态来定位问题。 7. **JDBC驱动问题** 如果使用的JDBC驱动版本与数据库版本不兼容,可能会导致连接问题或任务卡住。确保使用的JDBC驱动版本与目标数据库版本匹配[^4]。 8. **数据量过大** 如果需要导入的数据量过大,而没有合理配置分片策略(如`--split-by`),可能会导致单个Mapper任务处理过多数据,从而卡住[^5]。 9. **HBase客户端配置问题** HBase客户端的配置(如ZooKeeper连接超时时间、HBase RPC超时时间)可能会影响数据写入效率。如果这些参数配置不合理,可能会导致任务卡住[^3]。 ### 示例代码:优化Sqoop导入HBase的参数 以下是优化后的Sqoop导入HBase的命令示例: ```bash bin/sqoop import \ --connect jdbc:mysql://hadoop1:3306/company \ --username root \ --password 000000 \ --table staff_timestamp \ --columns "id,name,age" \ --target-dir "/tmp/hbase/staff" \ --delete-target-dir \ --fields-terminated-by "\t" \ --split-by id \ --num-mappers 4 \ --driver com.mysql.jdbc.Driver \ --hive-import \ --create-hive-table \ --hive-table company.staff_hive ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值