###
安装 Hive 3 并与
Hadoop 集成
要在 Ubuntu 上
安装 Hive 3 并将其与
Hadoop 集成，以下是详细的说明：
#### 1. 准备工作
确保已经完成以下准备工作：
- 已经
安装并配置好
Hadoop 环境，并能够正常运行[^3]。
- JDK 已正确
安装并设置环境变量[^2]。
#### 2. 下载
Hive 3 压缩包
访问 Apache
Hive 的官方网站下载最新版本的
Hive 3 压缩包。假设已将压缩包放置于 `build` 文件夹中，则可以通过如下方式解压和移动文件：
```bash
cd ~/build
tar -zxvf apache-
hive-3.x-bin.tar.gz -C /usr/local/
mv /usr/local/apache-
hive-3.x-bin /usr/local/
hive
```
#### 3. 设置
Hive 环境变量
编辑 `.bash_profile` 或者 `/etc/profile` 文件，添加
Hive 路径至环境变量中：
```bash
gedit ~/.bash_profile
```
在文件末尾追加以下内容：
```bash
export
HIVE_HOME=/usr/local/
hive
export PATH=$PATH:$
HIVE_HOME/bin
```
执行以下命令使更改生效：
```bash
source ~/.bash_profile
```
#### 4. 初始化 MySQL 数据库作为元数据存储
由于
Hive 默认使用 Derby 存储元数据，而生产环境中推荐使用外部数据库（如 MySQL），因此需要先
安装 MySQL 并创建相应的数据库表结构[^5]。
##### (a)
安装 MySQL Server
如果尚未
安装 MySQL，请按照以下步骤操作：
```bash
sudo apt-get update
sudo apt-get install mysql-server
```
##### (b) 创建用于存储
Hive 元数据的数据库及用户
登录到 MySQL 控制台：
```bash
mysql -u root -p
```
执行以下 SQL 命令以创建新数据库以及授权给特定用户：
```sql
CREATE DATABASE
hive_db;
USE
hive_db;
GRANT ALL PRIVILEGES ON
hive_db.* TO '
hive_user'@'localhost' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;
EXIT;
```
#### 5. 修改
Hive 配置文件
进入
Hive 的配置目录并修改必要的参数以便连接到刚才建立好的 MySQL 实例上：
```bash
cd $
HIVE_HOME/conf
cp
hive-default.xml.template
hive-site.xml
```
打开 `
hive-site.xml` 进行编辑，在其中加入下面这些键值对来指定 JDBC URL 和驱动类名等信息：
```xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/
hive_db?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>
hive_user</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
```
#### 6. 解决依赖冲突问题
有时可能会遇到某些 jar 包之间的版本不兼容情况，比如 JLine 库可能引起错误。可以尝试从其他地方获取合适的版本替换掉默认的那个或者直接拷贝过去解决这个问题[^4]:
```bash
cp /path/to/correct-jline-version.jar $
HIVE_HOME/lib/
rm $
HIVE_HOME/lib/jline*.jar
ln -s correct-jline-version.jar jline.jar
```
另外还需注意的是 YARN 中也需要有相同的 JLine 版本来避免潜在的问题发生所以也要同步更新一下该路径下的对应文件副本:
```bash
cp /usr/local/
hive/lib/jline-2.12.jar /usr/local/
hadoop/share/
hadoop/yarn/lib
```
#### 7. 测试
Hive 是否能正常使用
最后一步就是验证整个流程是否顺利完成啦！启动服务之后就可以通过 CLI 来测试查询功能了哦～
```bash
start-dfs.sh && start-yarn.sh
hiveserver2 &
beeline -u jdbc:
hive2://localhost:10000/default
!connect jdbc:
hive2://localhost:10000/default username password org.apache.
hive.jdbc.
HiveDriver
show tables;
desc formatted table_name;
select * from your_table limit 10;
```
---
###
本文详细介绍了在CentOS7系统中安装和配置Hive的过程，包括下载并移动hive安装包至共享目录，解压及创建符号链接，以及配置环境变量等关键步骤，确保Hive能在Hadoop集群中正常运行。
扫一扫
1379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
