Hive分布式集群安装

最新推荐文章于 2025-11-18 09:10:11 发布

原创

最新推荐文章于 2025-11-18 09:10:11 发布 · 1.8k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据 #zookeeper #hadoop

本文档详细介绍了如何在已有的Hadoop和Zookeeper集群上安装Hive，并使用MySQL作为元数据存储。从解压Hive安装包，设置环境变量，拷贝MySQL驱动，初始化元数据库，到集群管理及连接，每一步都提供了清晰的操作步骤，最后还推荐了可视化工具DBeaver进行连接。

Hive分布式集群安装

1 资源
2 环境
3 安装Hadoop
4 安装MySQL
5 Hive集群安装
6 管理Hive集群
7 连接集群
8 可视化工具

1 资源

apache-hive-3.1.1-bin.tar.gz

提取码：lzm1

2 环境

IP	HOST
104.21.51.1	zk01
104.21.51.2	zk02
104.21.51.3	zk03

3 安装Hadoop

Hadoop分布式集群搭建（含Zookeeper安装）

4 安装MySQL

Hive默认的metadata（元数据）是存储在Derby里面的，但是有一个弊端就是同一时间只能有一个Hive实例访问。
所以我们选择使用MySQL来替换Derby，实现多实例同时访问。

MySQL安装

5 Hive集群安装

5.1 解压安装包

mkdir /hive
tar -zxvf apache-hive-3.1.1-bin.tar.gz -C /hive

5.2 设置环境变量并使之生效

vi /etc/bashrc

export HIVE_HOME=/hive/apache-hive-3.1.1-bin
export PATH=$HIVE_HOME:$PATH

source /etc/bashrc

5.3 拷贝MySQL驱动到lib目录

cd $HIVE_HOME/lib

mysql-connector-java-8.0.18.jar

提取码：r0ch

5.4 修改配置文件

vi $HIVE_HOME/conf/hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- JDBC连接字符串 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://104.21.51.1:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=utf8</value>
    </property>
    <!-- JDBC驱动 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <!-- 连接MySql的用户名 -->
    <property>