hive2 mysql 完全分布式_hive-2.1.1完全分布式搭建

释放双眼，带上耳机，听听看~！

hive-2.1.1完全分布式搭建，受限制于时间，直接上参数了

本文关键词：hive,完全分布式,搭建

安装mysql

mkdir /home/lina/Software/mysql //建立下载目录

cd /home/lina/Software/ mysql //进入下载目录

wget http://dev.MySQL.com/get/Downloads/MySQL-5.7/mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz //下载mysql文件

mkdir /opt/mysql //建立安装目录

tar zxf mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz -C /opt/ mysql //解压到安装目录

sudo apt-get install mysql-server //采用apt-get安装mysql，会提示设置mysql的用户名和密码，设为用户名zhangyu，密码strongs

service mysql start //启动mysql服务

mysql -uroot -p //进入mysql命令行,输入之后会提示输入密码，输入上述密码strongs

mysql> create user hive identified by ‘hive’; //创建一个用户名为hive，密码为hive的数据库

mysql> create database hive; //创建一个叫做hive的数据库

mysql> grant all on hive.* to hive@’%’ identified by ‘hive’; //给hive用户授权

mysql> grant all on hive.* to hive@’localhost’ identified by ‘hive’; //给hive用户授权

mysql> flush privileges; mysql> exit; //退出mysql

安装Hive

Step1：下载

下载地址： http://mirror.bit.edu.cn/apache/hive/

下载版本： hive-2.1.1

压缩包名称： apache-hive-2.1.1-bin.tar.gz

压缩包存放目录： /home/lina/Software/Hadoop/apache-hive-2.1.1-bin.tar.gz

Step2：解压

将解压目录(安装目录)设置为/opt/Hadoop/下，使用下面的命令进行解压，并创建软连接：

cd /home/lina/Software/Hadoop //将当前目录切换至压缩包所在目录

tar zxf apache-hive-2.1.1-bin.tar.gz -C /opt/Hadoop //解压到安装目录，解压之后的名字是apache-hive-2.1.1-bin

mv apache-hive-2.1.1-bin apache-hive-2.1.1 //将文件夹的名字由apache-hive-2.1.1-bin变为apache-hive-2.1.1

ln -s apache-hive-2.1.1 hive //创建软连接

Step3：添加环境变量

因为之前在已经配置过jdk，hadoop，zookeeper，hbase和pig的环境变量，所以这里只需要将hive的环境变量添加即可，添加内容在下图使用红框圈起来了(没圈的地方是之前已经配置过的环境变量，这里不需要变动)，使用命令sudo vi ~/.bashrc打开配置文件，配置如下：

export HIVE_HOME=/opt/Hadoop/apache-hive-2.1.1

export PATH=.:$HIVE_HOME/bin:$HIVE_HOME/conf

使用source ~/.bashrc使更改的环境变量立即生效。

Step4：修改hive配置文件

(1)复制初始文件作为配置文件

进入${HIVE_HOME}\conf即/opt/Hadoop/apache-hive-2.1.1/conf目录下，执行下面的命令：

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-site.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

(2)修改hive-env.sh

进入${HIVE_HOME}\conf\即/opt/Hadoop/apache-hive-2.1.1/conf目录下，使用vi hive-en.sh打开文件，在hive-env.sh中添加以下路径：

export JAVA_HOME=/opt/Java/jdk1.8 //Java路径

export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 //Hadoop安装路径

export HIVE_HOME=/opt/Hadoop/hive-2.1.1 //Hive安装路径

export HIVE_CONF_DIR=/opt/Hadoop/hive-2.1.1/conf //Hive配置文件路径

hive-site.xml的配置参数连接mysql数据库部分

注意：上述ConnectionUserName和ConnectionPassword需要更加mysql中自己设置的用户名和密码做相应的更改。

(5)更改{system:java.io.tmpdir} / {system:user.name}

在配置文件hive-site.xml中：

将{system:java.io.tmpdir} 改成 /opt/Hadoop/apache-hive-2.1.1/tmp/

将{system:user.name} 改成 {user.name}

Step5：配置jdbc驱动包

mysql的jdbc驱动包下载地址：https://dev.mysql.com/downloads/connector/j/

下载之后将文件夹解压，得到mysql-connector-java-5.1.42-bin.jar，将此jar包放在${HIVE_HOME}/lib目录，即/opt/Hadoop/apache-hive-2.1.1/lib下。

Step6：初始化并启动hive

(1)从 Hive 2.1 版本开始, 需要先运行 schematool 命令来执行初始化操作。

1. schematool -dbType mysql -initSchema

看到schemaTool completed 则初始化完成 。

(2)可以使用schematool -dbType mysql -initInfo 查看数据库初始化信息。

(3)进入mysql中，查看hive中的表格信息，可看到如图内容：

mysql -uroot -p //进入mysql命令行,输入之后会提示你输入密码，输入上述密码root

use hive;

show tables;

(4)检测hive 是否成功，直接在命令行输入hive即可：

1. hive