hive on hbase 数据表关联

最新推荐文章于 2024-11-13 23:04:55 发布

转载最新推荐文章于 2024-11-13 23:04:55 发布 · 207 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xjh713/p/7550449.html

文章标签：

#大数据

本文介绍如何通过创建临时Hive表，并利用Hive-on-HBase的方式将数据从Hive导入到HBase中，无需编写MapReduce程序，简化了数据迁移流程。

有时，数据可以容易的存储在hive中,但是要导入到hbase里,可以不用写MR程序来操作,可以使用hive on hbase方式来创建相应的表关联关系来将hive中的数据导入到对应的hbase的表里，如下描述:

可以参考 hive与hbase关联表

1 、首先创建一张临时hive 内表:

create table testh(rowkey int,record1 string,record2 string,record3 string,record4 string,record5 string,record6 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

2、将准备的数据加载到临时表中

load data local inpath '/root/goodwill/test.data' into table testh;

3、创建hbase对应的表,这里创建的时候可以设置hbase表分区(我这里就不创建分区了)

create 'test','cf'

4、创建一张hive的外表关联上hbase的表

create EXTERNAL table hbase_test(rowkey int,record1 string,record2 string,record3 string,record4 string,record5 string,record6 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf:record1,cf:record2,cf:record3,cf:record4,cf:record5,cf:record6") TBLPROPERTIES ("hbase.table.name"="test");