hive-2.1.1安装指南

本文详细介绍了Hive 2.1.1的安装步骤,包括元数据存储的内嵌、本地和远程模式的对比,推荐在生产环境中使用远程元存储。讲解了如何配置MySQL,创建metastore数据库,以及Hive的目录结构设置。在配置部分,提到了`hive-site.xml`的关键参数设置,如仓库目录、执行暂存目录等,并强调了首次启动需要初始化及启动metastore服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文介绍hive版本2安装的整个过程
一、介绍hive metastore的三种配置:
1、内嵌模式:embedded metastore database(derby)
2、本地模式:本地元存储 local metastore database
3、远程模式:远程元存储 remote metastore database
metadata 即元数据。元数据包括用Hive创建的database、table等元数据信息。元数据存储在关系型数据库中,比如:derby、mysql。
Metastore的作用:客户端连接metastore服务,metastore再去连接mysql数据库来存取元数据。有了metastore服务后,就可以有多个客户端同事连接。

区别:
* 内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起metastore服务,默认配置并简单,但是只能一个客户端连接,使用实验,不适用生产。
* 本地模式和远程模式都采用外部数据库来存储元数据,在这里我用的是mysql。
* 本地模式和远程模式的区别:本地元数据不需要单独起metastore服务,用的是跟hive在同一进程里的metastore服务。远程元存储需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。
生产环境建议用远程元存储来配置Hive Metastore

这里安装mysql就不在赘述了。直接yum安装mysql就行;
二、安装hive
在apache官网上下载hive http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/

cd /home/bigdata/BIData
tar -zxvf apache-hive-2.1.1-bin.tar.gz
mv apache-hive-2.1.1/ hive

将mysql-connector-java-5.1.40.jar包上传至hive的lib目录下面
hive0.12版本之前Hive和Hbase的外表关联需要Hive与Hbase下的lib的jar包版本统一

三、配置
配置mysql
1、service mysqld start
mysql 进入数据库界面
2、创建需要的用户和metadata数据库

[root@master apache-hive-2.1.1-bin]# bin/hive which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_144/bin:/usr/zookeeper/zookeeper-3.4.10/bin:/usr/hadoop/hadoop-2.7.3/bin:/usr/hadoop/hadoop-2.7.3/sbin:/root/bin:/usr/java/jdk1.8.0_144/bin:/usr/zookeeper/zookeeper-3.4.10/bin:/usr/hadoop/hadoop-2.7.3/bin:/usr/hadoop/hadoop-2.7.3/sbin:/usr/hive/apache-hive-2.1.1-bin/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/hive/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Logging initialized using configuration in jar:file:/usr/hive/apache-hive-2.1.1-bin/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:591) at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:531) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: org.apache.hadoop.hiv
最新发布
03-13
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值