sqoop mysql to hbase java api 1.4.5

最新推荐文章于 2021-03-13 09:56:28 发布

原创最新推荐文章于 2021-03-13 09:56:28 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop

学习笔记专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何配置Sqoop从MySQL数据库导入数据到HBase。通过设置连接字符串、用户名、密码等参数，并指定HBase表名及列族等选项，实现数据的有效迁移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SqoopOptions options = new SqoopOptions();
options.setConnectString("jdbc:mysql://HOSTNAME:PORT/DATABASE_NAME");
//options.setTableName("TABLE_NAME");
//options.setWhereClause("id>10"); // this where clause works when importing whole table, ie when setTableName() is used
options.setUsername("USERNAME");
options.setPassword("PASSWORD");
//options.setDirectMode(true); // Make sure the direct mode is off when importing data to HBase
options.setNumMappers(8); // Default value is 4
options.setSqlQuery("SELECT * FROM user_logs WHERE $CONDITIONS limit 10");
options.setSplitByCol("log_id");

// HBase options
options.setHBaseTable("HBASE_TABLE_NAME");
options.setHBaseColFamily("colFamily");
options.setCreateHBaseTable(true); // Create HBase table, if it does not exist
options.setHBaseRowKeyColumn("log_id");

int ret = new ImportTool().run(options);