ubuntu18.04搭建hive

最新推荐文章于 2022-05-19 16:37:09 发布

ガッシュ·ベル

最新推荐文章于 2022-05-19 16:37:09 发布

阅读量2.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： ubuntu 文章标签： hive 数据库

本文链接：https://blog.youkuaiyun.com/qq_41822647/article/details/84503869

ubuntu 专栏收录该内容

14 篇文章

订阅专栏

本文详细介绍如何在Ubuntu环境下搭建Hive数据仓库，包括Hadoop的先决条件、Hive的下载与配置、环境变量设置、hive-site.xml配置、MySQL数据库连接及权限设置等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

0 hadoop搭建

在搭建hive之前，要保证hadoop搭建完成，hadoop教程可以参考这篇文章ubuntu18.04下hadoop搭建
在这里插入图片描述

1 下载并配置Hive

1.1 下载Hive

在apache官网下载hive包，这里下载的是hive-1.2.2版本
下载好后解压hive包
在这里插入图片描述
然后将解压包移动到/usr/local/hive下，移之前首先在/usr/local下创建名为hive文件夹

$ sudo mkdir /usr/local/hive

移动hive包到/usr/local/hive目录下
在这里插入图片描述

1.2 配置环境变量

$ sudo vi /etc/profile

增加如下配置:

export HIVE_HOME=/usr/local/hive/apache-hive-1.2.2-bin
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:/usr/local/hive/apahe-hive-1.2.2-bin/lib

更新环境变量

$ source /etc/profile

1.3 配置hive-env.s h

进入目录/usr/local/hive/apache-hive-1.2.1-bin/conf
下，首先新建一个空文件hive-env.sh:

$ touch hive-env.sh

接着

$ cp hive-env.sh.template hive-env.sh
$ vi hive-env.sh

添加hadoop的路径，如下:
HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
(以下所有配置均在该路径下。)

1.4 配置hive-site.xml

仍然，首先新建文件hive-site.xml

$ touch hive-site.xml

接着

$ cp hive-default.xml.template hive-site.xml
$ vi hive-site.xml

增加mysql数据库的连接配置:

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

在这里插入图片描述
修改临时文件夹的路径，找到以下两个位置，并修改为正确路径:

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/renziteng/iotmp</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/renziteng/iotmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>

我的用户名是renziteng，所以在该路径下，新建了iotmp文件夹，并授权:

$ mkdir -p /home/renziteng/iotmp 
$ chmod -R 775 /home/renziteng/iotmp

1.5 修改hive-config.sh

进入目录:/usr/local/hive/apache-hive-1.2.2-bin/bin

sudo vi hive-config.sh

在该文件的最前面添加以下内容:

export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
export HIVE_HOME=/usr/local/hive/apache-hive-1.2.2-bin

2 安装并配置mysql

2.1 安装MySQL Server

在命令行输入sudo apt-get install mysql-server即可安装。

2.2 下载MySQL JDBC驱动器

去mysql官网找GA version下载
在这里插入图片描述
下载完后解压
tar -zxvf mysql-connector-java-5.1.47.tar.gz
然后进入解压后的目录，把jar包复制到/usr/local/hive/apache-hive-1.2.2-bin/lib/下

$ cp mysql-connector-java-5.1.40-bin.jar /usr/local/hive/apache-hive-1.2.2-bin/lib

2.3 在HDFS中创建目录和设置权限

启动hadoop,在hadoop中创建hive需要用到的目录并设置权限。

$ start-all.sh #启动hadoop
$ hadoop fs -mkdir /tmp
$ hadoop fs -mkdir -p /user/hive/warehouse
$ hadoop fs -chmod g+w /tmp
$ hadoop fs -chmod g+w /user/hive/warehouse