hive-0.9.0 在 hbase-0.94.4上分布式搭建

最新推荐文章于 2021-02-19 15:25:22 发布

原创最新推荐文章于 2021-02-19 15:25:22 发布 · 811 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在分布式环境下成功部署Hadoop、HBase，并通过Hive进行整合，具体包括下载并配置组件、环境变量、文件路径，以及如何启动各服务和创建HBase相关的Table。

前提是hadoop和hbase都能在分布式环境成功运行，hive的搭建步骤如下

第一步，下载hive-0.9.0，解压。将hbase下面的hbase-0.94.4.jar，hbase-0.94.4-tests.jar，zookeeper-3.4.5.jar，protobuf-java-2.4.0a.jar拷贝到hive-0.9.0/lib下面，也需要将protobuf-java-2.4.0a.jar拷贝到hadoop-1.0.4/lib下面。

第二步：修改hive-env.sh，HADOOP_HOME=/home/yht/hadoop-1.0.4。修改hive-site.xml,增加如下属性

<property>
<name>hive.exec.scratchdir</name>
<value>/home/yht/hive/tmp</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/home/yht/hive/logs</value>
</property>
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/yht/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///home/yht/hive-0.9.0/lib/hbase-0.94.4.jar,file:///home/yht/hive-0.9.0/lib/zookeeper-3.4.5.jar,file:///home/yht/hive-0.9.0/lib/guava-r09.jar,file:///home/yht/hive-0.9.0/lib/protobuf-java-2.4.0a.jar</value>
</property>
<property>
<name>hbase.zookeeper.quarum</name>
<value>hadoopslave1</value>
</property>

第三步：

分别启动hadoop和hbase，然后

启动hive，bin/hive -hiveconf hbase.zookeeper.quorum=hadoopslave1

第四步

创建table

CREATE TABLE hbase_table_1(key int, value string)
STORED BY "org.apache.hadoop.hive.hbase.HBaseStorageHandler"
WITH SERDEPROPERTIES ('hbase.columns.mapping'=':key,cf1:val')

TBLPROPERTIES ('hbase.table.name'='yuhthive');

如果成功，可以在hbase里面看见新建的tableyuhthive