sqoop hbase导入并与hive结合

最新推荐文章于 2025-05-27 20:27:05 发布

stefshawn

最新推荐文章于 2025-05-27 20:27:05 发布

阅读量1.8k

点赞数

云计算专栏收录该内容

65 篇文章

订阅专栏

本文详细介绍了如何使用sqoop将mysql数据导入到hbase中，并通过hbase创建了相应的表结构，解决了多字段联合主键的导入问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop语句
以tid为主键，info为列族

Html代码

sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid

sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid

hbae创建表语句

Sql代码

create 'trade','info'

create 'trade','info'

hive创建表语句

Sql代码

CREATE EXTERNAL TABLE hbase_trade(
tid string,
dp_id string,
created string,
modified string,
buyer_cod_fee double,)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");

CREATE EXTERNAL TABLE hbase_trade(
tid string,
dp_id string,
created string,
modified string,
buyer_cod_fee double,) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");

遗留问题
sqoop导入数据至hbase时，split-by字段只能是一个，处理不了多字段联合主键的情况。