5.1 hive数据仓库

hive：是数据仓库，不是数据库，是非Java编程者对hdfs的数据做mapreduce操作，把SQL语言转化为mapreduce语言

数据仓库：存的是历史数据，做分析用，增加冗余

数据库：存在线数据，减少冗余

hive最小处理单元是操作符，每个操作符代表hdfs的一个操作或一个mapreduce程序

hive三种模式：本地模式，单用户模式，多用户模式

---

mysql安装：

yum -y install mysql-server yum安装MySQL

service mysqld start 启动MySQL

chkconfig mysqld on 添加到开机启动项

mysql 进入mysql客户端

use mysql 切换库

delete from user; 删除默认权限表

重新创建权限用户

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;

flush privileges; 刷新权限

quit 退出

mysql -u root -p 登陆(带用户)

---

hive安装：

运行hadoop集群 安装一个关系型数据，（mysql）：yum install mysql-server （前面已经安装了MySQL就不需要了）

tar -zxvf apache-hive-1.2.1-bin.tar.gz 解压安装包

mv apache-hive-1.2.1-bin apache-hive-1.2.1 改名为apache-hive-1.2.1

配置环境变量：

export HIVE_HOME=/opt/local/apache-hive-1.2.1

export PATH=$PATH:$HIVE_HOME/bin

source ~/.bash_profile 重启配置文件

记得把mysql-connector-java-5.1.32-bin.jar这个驱动包放到apache-hive-1.2.1/lib下 没有这个jar的去网上下载一个

注意：把apache-hive-1.2.1/lib下jline-2.12.jar和hadoop-2.5.2/share/hadoop/yarn/lib下的jar同步,删除低版本，保留高版本

然后进入conf目录下创建hive-site.xml

单用户模式conf/hive-site.xml：

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive_remote/warehouse</value> //数据存储路径

</property>

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name> //MySQL配置路径

<value>jdbc:mysql://node1/hive_remote?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name> //MySQL驱动

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name> //MySQL用户

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name> //MySQL密码

<value>password</value>

</property>

启动MySQL和hadoop

hive 启动hive

quit 退出

---

多用户(远程客户端)模式conf/hive-site.xml拆分为2部分：

1，服务端部分hive-site.xml：

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>password</value>

</property>

2，客户端配置hive-site.xml：

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

</property>

<property>

<name>hive.metastore.local</name>

<value>false</value>

</property>

<property>

<name>hive.metastore.uris</name>

<value>thrift://node2:9083</value> //配置服务端

</property>

启动 hive 服务端程序 hive --service metastore

客户端直接使用 hive 命令即可

注意：把apache-hive-1.2.1/lib下jline-2.12.jar和hadoop-2.5.2/share/hadoop/yarn/lib下的jar同步,删除低版本，保留高版本

记得把mysql-connector-java-5.1.32-bin.jar这个驱动包放到apache-hive-1.2.1/lib下