[Hive on spark:Second Step]搭建Hive

最新推荐文章于 2025-09-18 17:46:08 发布

原创最新推荐文章于 2025-09-18 17:46:08 发布 · 283 阅读

0 ·

CC 4.0 BY-SA版权

环境搭建同时被 2 个专栏收录

19 篇文章

订阅专栏

hive

4 篇文章

订阅专栏

本文详细介绍了Hive2.3在已有Hadoop集群上的安装步骤，包括配置hive-site.xml，设置环境变量，添加MySQL连接jar包，以及初始化数据库。通过遵循这些步骤，可以确保Hive与Hadoop的无缝集成。

hive2.3的搭建

前提: 集群中已经安装好了hadoop，并且已经启动了hdfs
准备工作:

hive安装包 hive历代版本下载地址

我这里因为spark的版本需要，我安装了hive2.3

Hive Version	Spark Version
master	2.3.0
3.0.x	2.3.0
2.3.x	2.0.0
2.2.x	1.6.0
2.1.x	1.6.0
2.0.x	1.5.0
1.2.x	1.3.1
1.1.x	1.2.0

安装步骤:

1.上传安装包到服务器上，然后解压
2. 进入hive的conf目录，编辑hive-site.xml vim hdfs-site.xml内容如下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
  <!-- Hive Execution Parameters -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://spark3:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=utf-8&amp;useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
	<value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
	<value>123</value>
  </property>
  </configuration>

上面的数据库的连接名ConnectionUserName的value要修改成自己的数据库的连接用户名
上面的数据库的连接密码ConnectionPassword的value要修改成自己的数据库的连接密码
3.然后编辑hive-env.sh vim hive-env.sh
向下面添加如下几行内容,这里对应自己的环境里面的安装路径

export HADOOP_HOME=/export/software/hadoop
export HADOOP_CONF_DIR=/export/software/hadoop/etc/hadoop
export HIVE_CONF_DIR=/export/software/hive/conf
export HIVE_AUX_JARS=/export/software/hive/lib

4.编辑/etc/profile vim /etc/profile添加如下的内容

export HIVE_HOME=/export/software/hive
export PATH=$PATH:$HIVE_HOME/bin

接着使用命令source /etc/profile
5.将mysql的连接的jar包添加入hive的lib文件夹中，mysql jar点击下载
6.进入hive 的bin目录，在里面执行schematool -dbType mysql -initSchema
在这里插入图片描述
看到上述的字样，就是说明成功了。
以上就已经安装完毕了。

启动hive

启动hive之前要再次检查一下hadoop的进程是否已经启动了，命令:hive启动成功之后就会出现如下的样子
在这里插入图片描述
使用命令show databases;

show databases;

结果如下:
在这里插入图片描述
上述的整个的安装过程就已经介绍完毕了。

可能会出现如下的错误：
在这里插入图片描述
Error: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000)
这个问题出现了，检查一下hive-site.xml是否存在你的hive的conf目录里面，可能是因为hive-site.xml里面的配置没有写正确，检查里面的<name>的内容和<value>内容。