大数据新手必看：Hive3.1.2在Ubuntu上的极简安装指南（含MySQL配置）

关注

原创最新推荐文章于 2026-06-09 14:34:48 发布 939 阅读 AI 写同款· GEO 优化 ›

Ubuntu下安装Hive3.1.2教程（附MySQL安装方法及安装包）文章目录前言一、安装Hive1. 下载压缩包并解压2. 安装Hive3. 配置环境变量4. 修改配置文件二、MySQL安装与配置1. 安装MySQL2. 安装MySQL jdbc包3. 为Hive创建MySQL账号三、验证Hive安装及错误处理1. 启动Hadoop2. 启动hive3. 运行Hive实例总结前言 Hive 的安装需要建立在 Hadoop 的之上（类似于Hbase），关于 Hadoop 的单机安装以及伪分布式安装可以参考作者的另两篇博客： Ubuntu下单机安装Hadoop详细教程（附阅读详情

大数据实践指南：Ubuntu系统下Hive 3.1.2与MySQL协同部署全解析

第一次接触大数据技术栈时，Hive往往是让人又爱又恨的工具。爱它的SQL-like查询方式降低了数据处理门槛，恨它在环境配置阶段的各种"坑"。本文将用最直白的语言，带你完成从零开始部署Hive 3.1.2的全过程，特别针对Ubuntu系统优化了MySQL元数据库的配置方案。

1. 环境准备与前置条件

在开始Hive安装前，需要确保基础环境就绪。不同于简单的桌面应用，Hive作为Hadoop生态系统中的数据仓库工具，对运行环境有特定要求：

Java环境：推荐OpenJDK 8或11（建议使用1.8.0_301版本）
Hadoop集群：单机或伪分布式模式均可（本文基于Hadoop 3.2.2验证）
操作系统：Ubuntu 20.04 LTS（兼容18.04及以上版本）
磁盘空间：至少预留5GB可用空间
内存配置：建议4GB以上物理内存

提示：可通过java -version和hadoop version命令验证基础环境。若未安装Hadoop，可参考官方文档快速搭建伪分布式环境。

环境变量配置示例：

# 编辑~/.bashrc文件
vim ~/.bashrc

# 添加以下内容（路径根据实际安装位置调整）
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2. Hive 3.1.2核心安装流程

2.1 获取安装包与解压

国内用户推荐使用清华镜像源加速下载：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

解压到系统目录并设置权限：

sudo tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local
cd /usr/local
sudo mv apache-hive-3.1.2-bin hive
sudo chown -R $(whoami) hive  # 将目录所有权赋予当前用户

2.2 关键配置文件调整

Hive的核心配置文件位于$HIVE_HOME/conf目录，需要重点关注两个文件：

hive-env.sh（环境变量）：

cp hive-env.sh.template hive-env.sh
vim hive-env.sh

添加以下内容：

HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf

hive-site.xml（运行时配置）：

<configuration>
  <property>
    <name>system:java.io.tmpdir</name>
    <value>/tmp/hive/java</value>
  </property>
  <property>
    <name>system:user.name</name>
    <value>${user.name}</value>
  </property>
</configuration>

3. MySQL元数据存储配置

3.1 MySQL Server安装与初始化

执行以下命令安装MySQL 8.0：

sudo apt update
sudo apt install mysql-server -y
sudo systemctl start mysql
sudo mysql_secure_installation  # 按提示设置root密码和安全选项

创建专属Hive元数据库：

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8mb4;
CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword';
GRANT ALL PRIVILEGES ON metastore.* TO 'hiveuser'@'%';
FLUSH PRIVILEGES;

3.2 JDBC驱动部署

下载对应版本的MySQL Connector/J：

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.27.tar.gz
tar -xzf mysql-connector-java-8.0.27.tar.gz
cp mysql-connector-java-8.0.27/mysql-connector-java-8.0.27.jar $HIVE_HOME/lib/

3.3 元数据库连接配置

在hive-site.xml中添加MySQL连接配置：

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hiveuser</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hivepassword</value>
</property>

4. 系统集成与验证测试

4.1 初始化元数据库

执行元数据初始化命令：

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

成功输出应包含：

Initialization script completed
schemaTool completed

4.2 启动Hive CLI验证

先启动Hadoop服务：

start-dfs.sh  # 启动HDFS
start-yarn.sh # 启动YARN（非必须）

启动Hive命令行界面：

$HIVE_HOME/bin/hive

执行测试命令：

CREATE TABLE test (id INT, name STRING);
INSERT INTO test VALUES (1, 'sample');
SELECT * FROM test;

4.3 常见问题排查

Guava版本冲突：

# 解决方案：保持Hadoop和Hive的Guava版本一致
cp $HADOOP_HOME/share/hadoop/common/lib/guava-*.jar $HIVE_HOME/lib/

元数据连接失败：

检查MySQL服务状态：sudo systemctl status mysql
验证用户权限：SHOW GRANTS FOR 'hiveuser'@'%'
测试直接连接：mysql -uhiveuser -phivepassword metastore

5. 生产环境优化建议

对于长期使用的Hive环境，建议进行以下优化：

配置参数调整：

参数名	推荐值	说明
hive.exec.parallel	true	启用查询并行化
hive.exec.parallel.thread.number	8	并行线程数
mapreduce.map.memory.mb	2048	Map任务内存限制
mapreduce.reduce.memory.mb	4096	Reduce任务内存限制

日志管理：

# 修改日志级别（$HIVE_HOME/conf/hive-log4j2.properties）
property.hive.log.level = INFO

存储格式选择：

频繁查询的表：ORC格式
需要频繁更新的表：Parquet格式
临时数据：TextFile格式

在实际项目中使用Hive时，发现最影响性能的往往是数据倾斜问题。一个简单的优化技巧是在JOIN操作前对倾斜键进行特殊处理：

-- 对大表进行随机分桶
SELECT /*+ MAPJOIN(small) */ * 
FROM large_table l JOIN small_table s
ON CASE 
     WHEN l.key = '倾斜值' THEN concat('bucket_', floor(rand()*10))
     ELSE l.key 
   END = s.key