Hadoop安装hive

本文详细记录了在Hadoop集群上安装Hive的步骤,包括从官网下载Hive,上传并解压,配置环境变量,解决Hadoop与Hive版本冲突问题,初始化Hive元数据库至MySQL,以及解决报错并成功启动Hive的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


前言

Hadoop安装hive的过程以及遇到的问题加解决办法

一、下载

我是从官网下载的

https://mirror.bit.edu.cn/apache/hive/hive-3.1.2/

在这里插入图片描述

二、上传到Hadoop

1.上传

在这里插入图片描述

2.解压

在这里插入图片描述
改名
在这里插入图片描述

3.配置环境变量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述使变量生效

此时查看hive的版本会报错

在这里插入图片描述
原因是hive和Hadoop的guava的版本一个太低一个太高,所以把低版本删掉,将 hive/lib/guava-19.0-jre.jar删除;将hadoop/share/hadoop/commons/lib/guava-27.0guava-27.0-jre.jar 复制到lib下


hive的lib下

在这里插入图片描述
到你自己的Hadoop的lib下
在这里插入图片描述
将guava-27.0guava-27.0-jre.jar 复制到hive的lib下
在这里插入图片描述
查看
在这里插入图片描述

4.开启集群查看版本

在这里插入图片描述其实应该一开始打开集群的

5.修改配置文件

切换到hive/conf目录下拷贝 hive-default.xml.template 为 hive-site.xml
修改hive-site.xml 文件以下需要指定数据连接信息(jdbc:mysql://192.168.2.115:3306/hive //hive数据库事先必须创建好)不知咋建也可以在hive-site.xml中写行代码
可以用notepad++打开Hadoop01,创建一个hive-site.xml,将下面的代码复制进去

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
--><configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
  <!-- Hive Execution Parameters -->

        <!-- 插入一下代码 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>Root1234567890!</value>#这是你自己的密码
    </property>
   <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
        <!-- 到此结束代码 -->


  <property>
    <name>hive.exec.script.wrapper</name>
    <value/>
    <description/>
  </property>
  </configuration>

6.将MySQL的驱动程序弄到hive/lib下

我不知道这个程序在哪,我就下了一个
这是官网https://dev.mysql.com/downloads/file/?id=476197
在这里插入图片描述
我下到了自己电脑中解压好,把jar包上传到了hive/lib下

7.初始化hive的元数据库

我是在官网下载的
https://mirror.bit.edu.cn/apache/hive/hive-3.1.2/
上传到
在这里插入图片描述
schematool -dbType mysql –initSchema
如果会报错
在这里插入图片描述
这是因为数据库没有创建hive的数据库,但是上面的hive-site.xml中我已经加了一行代码,如果不存在就创建。
在这里插入图片描述
成功后输入 ./hive

成功进入
推出的话quit;

### 安装 Hive 3 并与 Hadoop 集成 要在 Ubuntu 上安装 Hive 3 并将其与 Hadoop 集成,以下是详细的说明: #### 1. 准备工作 确保已经完成以下准备工作: - 已经安装并配置好 Hadoop 环境,并能够正常运行[^3]。 - JDK 已正确安装并设置环境变量[^2]。 #### 2. 下载 Hive 3 压缩包 访问 Apache Hive 的官方网站下载最新版本的 Hive 3 压缩包。假设已将压缩包放置于 `build` 文件夹中,则可以通过如下方式解压和移动文件: ```bash cd ~/build tar -zxvf apache-hive-3.x-bin.tar.gz -C /usr/local/ mv /usr/local/apache-hive-3.x-bin /usr/local/hive ``` #### 3. 设置 Hive 环境变量 编辑 `.bash_profile` 或者 `/etc/profile` 文件,添加 Hive 路径至环境变量中: ```bash gedit ~/.bash_profile ``` 在文件末尾追加以下内容: ```bash export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin ``` 执行以下命令使更改生效: ```bash source ~/.bash_profile ``` #### 4. 初始化 MySQL 数据库作为元数据存储 由于 Hive 默认使用 Derby 存储元数据,而生产环境中推荐使用外部数据库(如 MySQL),因此需要先安装 MySQL 并创建相应的数据库表结构[^5]。 ##### (a) 安装 MySQL Server 如果尚未安装 MySQL,请按照以下步骤操作: ```bash sudo apt-get update sudo apt-get install mysql-server ``` ##### (b) 创建用于存储 Hive 元数据的数据库及用户 登录到 MySQL 控制台: ```bash mysql -u root -p ``` 执行以下 SQL 命令以创建新数据库以及授权给特定用户: ```sql CREATE DATABASE hive_db; USE hive_db; GRANT ALL PRIVILEGES ON hive_db.* TO 'hive_user'@'localhost' IDENTIFIED BY 'password'; FLUSH PRIVILEGES; EXIT; ``` #### 5. 修改 Hive 配置文件 进入 Hive 的配置目录并修改必要的参数以便连接到刚才建立好的 MySQL 实例上: ```bash cd $HIVE_HOME/conf cp hive-default.xml.template hive-site.xml ``` 打开 `hive-site.xml` 进行编辑,在其中加入下面这些键值对来指定 JDBC URL 和驱动类名等信息: ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive_db?createDatabaseIfNotExist=true&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive_user</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` #### 6. 解决依赖冲突问题 有时可能会遇到某些 jar 包之间的版本不兼容情况,比如 JLine 库可能引起错误。可以尝试从其他地方获取合适的版本替换掉默认的那个或者直接拷贝过去解决这个问题[^4]: ```bash cp /path/to/correct-jline-version.jar $HIVE_HOME/lib/ rm $HIVE_HOME/lib/jline*.jar ln -s correct-jline-version.jar jline.jar ``` 另外还需注意的是 YARN 中也需要有相同的 JLine 版本来避免潜在的问题发生所以也要同步更新一下该路径下的对应文件副本: ```bash cp /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop/share/hadoop/yarn/lib ``` #### 7. 测试 Hive 是否能正常使用 最后一步就是验证整个流程是否顺利完成啦!启动服务之后就可以通过 CLI 来测试查询功能了哦~ ```bash start-dfs.sh && start-yarn.sh hiveserver2 & beeline -u jdbc:hive2://localhost:10000/default !connect jdbc:hive2://localhost:10000/default username password org.apache.hive.jdbc.HiveDriver show tables; desc formatted table_name; select * from your_table limit 10; ``` --- ###
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值