hive的安装

本文详细介绍了Hive从上传解压到配置环境变量、hive-site.xml,再到测试的全过程。涵盖异常处理、集群版安装注意事项及图形界面登录步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

概览
1.上传解压
2.配置环境变量
3.配置hive-site.xml
4.将mysql的连接驱动放到hive/lib下
5.初始化操作
6.执行hive命令并测试
7.异常处理

如果是集群版,Hive安装在一台虚拟机上就行

首先确保hdfs和mysql是正确启动的

1.上传解压


软件:hive-2.3.3

在/usr在创建hive文件夹,用来存放压缩包和作为安装路径,利用Xshell连接虚拟机,并使用Xftp将hive压缩包上传到hive文件夹下

解压

[root@master hive]# tar -zxf apache-hive-2.3.3-bin.tar.gz 


2.配置环境变量

[root@master hive]# vim /etc/profile

在最后添加

export HIVE_HOME=/usr/hive/apache-hive-2.3.3-bin
export PATH=$PATH:$HIVE_HOME/bin


刷新环境变量并测试

[root@master hive]# source /etc/profile
[root@master hive]# hive --version
Hive 2.3.3
Git git://daijymacpro-2.local/Users/daijy/commit/hive -r 8a511e3f79b43d4be41cd231cf5c99e43b248383
Compiled by daijy on Wed Mar 28 16:58:33 PDT 2018
From source with checksum 8873bba6c55a058614e74c0e628ab022

如果hive --version报错,需要替换一下jar包,详情见:

https://blog.youkuaiyun.com/wo198711203217/article/details/80691017


3.配置hive-site.xml


你会发现/usr/hive/apache-hive-2.3.3-bin/conf/并没有hive-site.xml文件
直接新建一个就行

[root@master hive]# cd apache-hive-2.3.3-bin/conf/
#创建文件
[root@master conf]# touch hive-site.xml
#编辑
[root@master conf]# vim hive-site.xml 

hosts名称改为自己的

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://mini1:3306/hive?createDatabaseIfNotExist=true</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <!-- 这是hiveserver2 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>

    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>mini1</value>
    </property>

</configuration>


4.将mysql的连接驱动放到hive/lib下


进入到你的hive安装目录的lib下,利用Xftp将驱动传输进去
我的mysql数据库连接驱动的百度云链接:https://pan.baidu.com/s/1wCBuZQaCP_nKT5t504SeoA
提取码:fakd


5.执行hive命令并测试

 

[root@master conf]# hive
hive> show databases;
OK
default
Time taken: 7.897 seconds, Fetched: 1 row(s)

补充:如何以服务的方式启动,使用hive图形客户端,如dbserver来连接?

6.配置hadoop中的core-site.xml文件


进入到hadoop的安装目录下的etc/hadoop文件夹,配置其中的core-site.xml文件

注意:如果是hadoop集群而不是单机版,需要更改所有虚拟机上的core-site.xml文件

在最后追加

<!-- 如果连接不上10000 -->

<property>     
    <name>hadoop.proxyuser.root.hosts</name>     
    <value>*</value>
 </property> 
<property>     
    <name>hadoop.proxyuser.root.groups</name>    
    <value>*</value> 
</property>
<property>     
    <name>hadoop.proxyuser.zhaoshb.hosts</name>     
    <value>*</value> 
</property> 
<property>     
    <name>hadoop.proxyuser.zhaoshb.groups</name>     
    <value>*</value> 
</property>

root是用户名

7.以hiveserver2方式启动

启动hivemetastore 

hive --service metastore

启动hiveserver2  

hive --service  hiveserver2

beeline

!connect jdbc:hive2://mini1:10000 hive hive

你会发现页面一直在卡这,其实已经启动完毕了,也可以在后台运行,命令如下:

hivemetastore 

nohup hive --service metastore &

hiveserver2       

nohup  hive --service hiveserver2 &

8.图形界面方式登录

下载 dbeaver https://dbeaver.io/ 客户端,连接hive,如图:

 

文章中部分内容摘录自:

https://blog.youkuaiyun.com/leanaoo/article/details/83316431

### Hive 安装教程概述 Hive 是一种建立在 Hadoop 上的数据仓库工具,支持结构化数据的查询和分析。以下是基于多种资料整理而成的一份完整的 Hive 安装指南。 --- #### 1. 准备工作 在安装 Hive 之前,需要完成以下准备工作: - **Java 环境配置** Hive 需要 Java 环境的支持。可以通过以下命令安装 JDK 并设置环境变量[^2]: ```bash mkdir -p /opt/module tar -zxvf /tmp/jdk-8u391-linux-x64.tar.gz -C /opt/module/ echo "export JAVA_HOME=/opt/module/jdk1.8.0_391" >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile source /etc/profile ``` - **Hadoop 环境准备** Hive 查询依赖于 Hadoop 提供的分布式计算能力。因此,在安装 Hive 前需先部署好 Hadoop 集群或单机版环境[^3]。 - **MySQL 数据库配置(可选)** 如果希望将 Hive 的元数据存储到 MySQL 中,则需要提前安装并初始化 MySQL 数据库[^4]。可以参考以下命令进行最小化安装: ```bash sudo apt-get update sudo apt-get install mysql-server service mysql start ``` --- #### 2. Hive 下载与解压 下载最新版本的 Hive 并将其解压至目标目录。例如,对于 Hive 3.1.3 版本,操作如下[^4]: ```bash cd /usr/local sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz sudo tar -zxvf apache-hive-3.1.3-bin.tar.gz sudo mv apache-hive-3.1.3-bin hive ``` --- #### 3. 环境变量配置 为了方便调用 Hive 工具,建议修改系统的环境变量文件 `~/.bashrc` 或 `/etc/profile`,添加以下内容: ```bash export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin source ~/.bashrc ``` --- #### 4. 配置 Hive 参数 进入 Hive 的配置目录 (`$HIVE_HOME/conf`),并将默认模板文件复制为实际使用的配置文件[^5]: ```bash cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml ``` 随后,编辑 `hive-site.xml` 文件以指定必要的参数。例如,定义本地临时目录的位置: ```xml <property> <name>hive.exec.local.scratchdir</name> <value>/path/to/hive/local/scratchdir</value> <description>Local scratch space for Hive jobs</description> </property> ``` 如果使用 MySQL 存储元数据,还需额外配置 JDBC 连接信息。具体示例如下: ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` --- #### 5. 启动 Hive 和验证 完成以上步骤后,即可启动 Hive 并验证其功能。首先确保 Hadoop 集群已正常运行[^3]: ```bash cd /usr/local/hadoop ./sbin/start-dfs.sh ``` 接着尝试启动 Hive CLI 或 Beeline 接口: ```bash cd /usr/local/hive ./bin/hive ``` 或者通过 Beeline 方式连接: ```bash ./bin/beeline -u jdbc:hive2://localhost:10000 ``` --- #### 6. 常见问题排查 在安装过程中可能会遇到一些常见的错误提示。例如,JDBC 驱动缺失时需要手动下载对应的驱动包,并放置到 `$HIVE_HOME/lib` 目录下。 --- ### 结论 按照上述流程,能够顺利完成 Hive安装与基本配置过程。需要注意的是,生产环境中通常还需要进一步优化性能参数以及增强安全性措施。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值