Hadoop 2.2.0 + HBase 0.96.1.1 + Hive 0.12.0 整合

最新推荐文章于 2022-08-08 00:15:26 发布

原创最新推荐文章于 2022-08-08 00:15:26 发布 · 2.3k 阅读

0 ·

CC 4.0 BY-SA版权

云计算云存储专栏收录该内容

36 篇文章

订阅专栏

本文提供Hadoop、HBase和Hive的安装部署指南，并特别介绍了如何解决Hive与HBase之间的兼容性问题。通过链接可获取详细的部署步骤，同时文章还分享了针对Hive配置文件的具体修改示例。

安装和部署Hadoop请参照: http://blog.youkuaiyun.com/kunshan_shenbin/article/details/17135291

安装和部署Hbase，请参照：http://hbase.apache.org/book/quickstart.html

至于Hive，官方的版本跟hbase存在兼容性问题，所以我使用Hortonworks的HDP2里的hive 0.12来代替。

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.8.0/bk_installing_manually_book/content/rpm-chap13.html

需要修改的文件如下：

$HIVE_HOME/conf/hive-site.xml:

<configuration>  
    <property>
        <name>hive.querylog.location</name>
        <value>/home/openx/develop/hdfs/hive/logs</value>
    </property>
    <property>
        <name>hive.aux.jars.path</name>
	<value>file:///home/openx/develop/hive/lib/hive-hbase-handler-0.12.0.2.0.6.0-76.jar,file:///home/openx/develop/hive/lib/hbase-client-0.96.0.2.0.6.0-76-hadoop2.jar,file:///home/openx/develop/hive/lib/hbase-protocol-0.96.0.2.0.6.0-76-hadoop2.jar,file:///home/openx/develop/hive/lib/hbase-server-0.96.0.2.0.6.0-76-hadoop2.jar,file:///home/openx/develop/hive/lib/htrace-core-2.01.jar,file:///home/openx/develop/hive/lib/zookeeper-3.4.5.2.0.6.0-76.jar</value>
    </property>
</configuration>

测试集成请参阅：http://blog.youkuaiyun.com/kunshan_shenbin/article/details/17549531