HBase和Hive整合配置

最新推荐文章于 2024-06-15 15:29:31 发布

liang墨竹

最新推荐文章于 2024-06-15 15:29:31 发布

阅读量222

点赞数

CC 4.0 BY-SA版权

分类专栏： Hbase Hive Hadoop

本文链接：https://blog.youkuaiyun.com/oschina_41140683/article/details/93463642

Hadoop 同时被 3 个专栏收录

26 篇文章

订阅专栏

Hive

11 篇文章

订阅专栏

Hbase

10 篇文章

订阅专栏

博客介绍了Hive和HBase同步的方法。首先要将hive - hbase - handler - 1.2.1.jar复制到hbase/lib下，同时把hbase的所有jar复制到hive/lib；接着在hive配置文件增加属性；最后展示了在hive中创建临时表的语句。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive和hbase同步
https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

1、把hive-hbase-handler-1.2.1.jar cp到hbase/lib 下
同时把hbase中的所有的jar，cp到hive/lib

2、在hive的配置文件增加属性：
<property>
<name>hbase.zookeeper.quorum</name>
<value>slave01,slave02,slave03</value>
</property>

3、在hive中创建临时表

CREATE EXTERNAL TABLE tmp_order
(key string, id string, user_id string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,order:order_id,order:user_id")
TBLPROPERTIES ("hbase.table.name" = "t_order");

CREATE TABLE hbasetbl(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz", "hbase.mapred.output.outputtable" = "xyz");