hive3.1集群搭建

原创

已于 2022-04-15 00:02:34 修改 · 3.4k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hive

于 2022-04-14 23:56:57 首次发布

本文详细介绍了Hive 3.1集群的搭建过程，包括环境准备、集群配置、解决Jar包冲突、配置Metastore到MySQL等步骤。Hive 3引入的新特性如不再支持MapReduce，采用Tez作为默认查询引擎，支持批查询和交互式查询。同时，Hive CLI已被Beeline取代，并提供了物化视图重写、自动查询缓存和会话资源限制等功能。

Hive 3新特性

不再支持Mr，取而用Tez 查询引擎，且支持两种查询模式：Container 和 LLAP
Hive CLI不再支持（被beeline取代)
SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表
支持 “批查询” (TEZ) 或者 “交互式查询”(LLAP)

Hive 3其他特性：
1、物化视图重写；
2、自动查询缓存；
3、会话资源限制：用户会话数，服务器会话数，每个服务器每个用户会话数限制

文章目录

Hive 3新特性
环境准备
一、集群搭建

环境准备

JDK：jdk1.8.0_141
zookeeper：apache-zookeeper-3.5.9
hadoop：hadoop-3.2.3
MySQL：mysql-5.7.31

我这里是本机虚拟机搭建，使用三个节点，分别是node01、node02、node03
hadoop集群搭建可参考我的另一篇文章
hadoop3.2+zookeeper集群搭建

一、集群搭建

1、解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /bigdata/install

#修改文件名
cd /bigdata/install
mv apache-hive-3.1.2-bin hive

2、解决Jar包冲突

#进入hive的lib目录
cd /bigdata/install/hive/lib
#备份日志jar
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

#guava版本和hadoop的版本不一致，取高版本的jar
mv guava-19.0.jar guava-19.0.jar.