Hive安装与配置详解(MySQL作为元数据库)

本文介绍Hive数据仓库工具的安装过程,包括预装JDK、Hadoop和MySQL,以及配置hive-site.xml以使用MySQL作为元数据库。文章还涵盖了如何通过执行HiveQL创建数据库和表。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析

在安装Hive之前,要求先预装:
- 安装JDK
- 安装Hadoop
- 安装MySQL

将hive解压到/usr/local下:

wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local/
mv apache-hive-3.1.2-bin hive

修改环境变量/etc/profile

#hive
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

执行source /etc.profile:执行

hive --version

有hive的版本显现,安装成功!

建立Hive专用的元数据库

创建Hive专用元数据库:

 

usr/local/hive/conf/修改hive-site.xml:

cp hive-default.xml.template hive-site.xml
vim hive-site.xml 

1.配置hive-site.xml(第5点的后面有一个单独的hive-site.xml配置文件,这个如果有疑问可以用后面的配置文件,更容易明白)

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

“hive?createDatabaseIfNotExist=true”如果hive数据库不存在就自动创建一个数据库 

2.复制mysql的驱动程序到hive/lib下面。下载地址:https://dev.mysql.com/downloads/connector/j/)
(驱动包名为:mysql-connector-java-5.1.46-bin.jar)

3.在mysql中hive的schema(在此之前需要创建mysql下的hive数据库)

[root@s100 bin]# pwd
/usr/local/hive/bin
[root@s100 bin]# schematool -dbType mysql -initSchema

4.执行hive命令

å¨è¿éæå¥å¾çæè¿°

执行HiveQL

hive> create database hive_1;
OK
Time taken: 1.432 seconds

hive> show databases;
OK
default
hive_1
Time taken: 1.25 seconds, Fetched: 2 row(s)

在Hive中创建表xp:

 

在mysql中查看:(use hive切换到数据库hive)

 

显示 hive 数据库中的数据表:

 

查看 hive 的元数据信息:

 

到此Hive集成Mysql作为元数据已完成。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值