Hadoop之# Hive与Mysql如何搭建远程连接&HiveJDBC，

Hive与Mysql&HiveJDBC

一 Hive元数据安装至Mysql、Hiveserver2

安装包准备

mysql-libs.zip

MySQL-server-5.6.24-1.el6.x86_64.rpm

mysql-connector-java-5.1.27.tar.gz

MySQL-client-5.6.24-1.el6.x86_64.rpm

二 MySql安装

一）安装包准备

1．查看mysql是否安装

（1）查看

[root@hadoop102 桌面]# rpm -qa|grep mysql 或者使用rpm -qa | grep -i mysql

mysql-libs-5.1.73-7.el6.x86_64

（2）卸载

[root@hadoop102 桌面]# rpm -qa|grep mysql | xargs sudo rpm -e --nodeps

2．解压

解压mysql-libs.zip文件到当前目录

[root@hadoop102 software]# unzip mysql-libs.zip

[root@hadoop102 software]# ls

mysql-libs.zip

mysql-libs

3．查看安装包

进入到mysql-libs文件夹下

[root@hadoop102 mysql-libs]# ll

总用量 76048

-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

二）安装MySql服务器

1．安装mysql服务端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

2．查看产生的随机密码

[root@hadoop102 mysql-libs]# cat /root/.mysql_secret

OEXaQuS8IWkG19Xs

3．查看mysql状态

[root@hadoop102 mysql-libs]# service mysql status

4．启动mysql

[root@hadoop102 mysql-libs]# service mysql start

三）安装MySql客户端

1．安装mysql客户端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

2．链接mysql

[root@hadoop102 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

mysql> use mysql

3．修改密码

mysql>SET PASSWORD=PASSWORD(‘000000’);

4．退出mysql

mysql>exit

select user,host,password from user;

四 )MySql中user表中主机配置

配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。

1．进入mysql

[root@hadoop102 mysql-libs]# mysql -uroot -p123

2．显示数据库

mysql>show databases;

3．使用mysql数据库

mysql>use mysql;

4．展示mysql数据库中的所有表

mysql>show tables;

5．展示user表的结构

mysql>desc user;

6．查询user表

mysql>select User, Host, Password from user;

delete from user where host<>“localhost”;

7．修改user表

把Host表内容修改为%

mysql>update user set host=’%’ where host=‘localhost’;

8．删除root用户的其他host

mysql>delete from user where Host='hadoop102';

mysql>delete from user where Host='127.0.0.1';

mysql>delete from user where Host='::1';

9．刷新

mysql>flush privileges;

10．退出

mysql>quit;

三 Hive元数据配置到MySql

一）驱动拷贝

1．解压mysql-connector…驱动包

在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包

[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

2．拷贝驱动包到hive bin 中

/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

二）配置Metastore到MySql

metastore是hive存储元数元数据用的，什么是元数据呢，其实就是一些基础数据hive 自带了一个Metastore，如果不修改配置文件，则为默认的。这个就是本地的。这个的特点是，你退出hive的客户端再进去之前创建的表就没有了

当然可以自己配置metastore，比如mysql，这样每次重新启动hive客户端hive的相关数据就不会消失了。这种方式就是远程的。

1．在hive conf 中配置

在/opt/module/hive/conf目录下创建一个hive-site.xml

[root@hadoop102 conf]$ touch hive-site.xml

[root@hadoop102 conf]$ vim hive-site.xml

2．搭建远程配置

根据官方文档配置参数

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>    

<configuration>

	<property>

	 <name>javax.jdo.option.ConnectionURL</name>  //连接mysql 位置

	 <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>

	 <description>JDBC connect string for a JDBC metastore</description>

	</property>

 

	<property>

	 <name>javax.jdo.option.ConnectionDriverName</name> //全类名

	 <value>com.mysql.jdbc.Driver</value>

	 <description>Driver class name for a JDBC metastore</description>

	</property>

 

	<property>

	 <name>javax.jdo.option.ConnectionUserName</name> //数据库名

	 <value>root</value>

	 <description>username to use against metastore database</description>

	</property>

 

	<property>

	 <name>javax.jdo.option.ConnectionPassword</name>  数据库密码

	 <value>123</value>

	 <description>password to use against metastore database</description>

	</property>

</configuration>

3．配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

先验证能否在多台机器 启动hive

三 ）多窗口启动Hive测试

1．先启动MySQL

[root@hadoop102 mysql-libs]$ mysql -uroot -p123

查看有几个数据库

mysql> show databases;

+--------------------+

| Database      |

+--------------------+

| information_schema |

| mysql       |

| performance_schema |

| test        |

+--------------------+

2．再次打开多个窗口，分别启动hive

[root@hadoop102 hive]$ bin/hive

3．启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库

​ mysql> show databases;

+--------------------+

| Database      |

+--------------------+

| information_schema |

| metastore      |

| mysql       |

| performance_schema |

| test        |

+--------------------+

*四 HiveJDBC访问*

一）启动hiveserver2服务

[root@hadoop102 hive]$ bin/hiveserver2

二）启动beeline

[root@hadoop102 hive]$ bin/beeline

Beeline version 1.2.1 by Apache Hive

beeline>

三）连接hiveserver

Hiveserver(SQL parser 解析器，physical plan 编辑器 ，优化器，执行器)

beeline> !connect jdbc:hive2://hadoop102:10000（回车） 启动jdbc Driver

Connecting to jdbc:hive2://hadoop102:10000

Enter username for jdbc:hive2://hadoop102:10000: atguigu（回车）

Enter password for jdbc:hive2://hadoop102:10000: （直接回车）

Connected to: Apache Hive (version 1.2.1)

Driver: Hive JDBC (version 1.2.1)

Transaction isolation: TRANSACTION_REPEATABLE_READ

0: jdbc:hive2://hadoop102:10000> show databases;

+----------------+--+

| database_name  |

+----------------+--+

| default     |

| hive_db2    |

+----------------+--+

五 Hive常用交互命令

查看hive 相关命令使用

[root@hadoop102 hive]$ bin/hive -help

1．“-e”不进入hive的交互窗口执行sql语句

[root@hadoop102 hive]$ bin/hive -e "select * from student;"

2．“-f”执行脚本中sql语句

（1）在/opt/module/datas目录下创建hivef.sql文件

[root@hadoop102 datas]$ touch hivef.sql

​ 文件中写入正确的sql语句

​ select *from student;

（2）执行文件中的sql语句

[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql

（3）执行文件中的sql语句并将结果写入文件中

[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt

六 Hive其他命令操作

1．退出hive窗口：

hive(default)>exit;

hive(default)>quit;

在新版的hive中没区别了，在以前的版本是有的：

exit:先隐性提交数据，再退出；

quit:不提交数据，退出；

2．在hive cli命令窗口中如何查看hdfs文件系统

hive(default)>dfs -ls /;

3．在hive cli命令窗口中如何查看本地文件系统

hive(default)>! ls /opt/module/datas;

4．查看在hive中输入的所有历史命令

​ （1）进入到当前用户的根目录/root或/home/xxx

​ （2）查看. hivehistory文件

[root@hadoop102 ~]$ cat .hivehistory