sqoop hbase导入并与hive结合

最新推荐文章于 2021-07-20 21:19:04 发布

原创最新推荐文章于 2021-07-20 21:19:04 发布 · 529 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了使用Sqoop工具将MySQL数据导入HBase的过程，并详细展示了sqoop import命令的配置参数，包括连接设置、表映射及列族指定等。同时，针对sqoop在处理多字段联合主键时存在的限制进行了说明。

sqoop语句
以tid为主键，info为列族

sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid

hbae创建表语句

create 'trade','info'

hive创建表语句

CREATE EXTERNAL TABLE hbase_trade(
tid string,
dp_id string,
created string,
modified string,
buyer_cod_fee double,) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");

遗留问题
sqoop导入数据至hbase时，split-by字段只能是一个，处理不了多字段联合主键的情况。