HIVE

1.Hive
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。
  本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
  hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
  这套映射工具称之为metastore，一般存放在derby、mysql中。
1.2 hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。


2.hive的安装
  (1)解压缩、重命名、设置环境变量 tar -zxvf hive-0.9.0.tar.gz
export HIVE_HOME=/usr/local/hive
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PIG_HOME/bin:$HIVE_HOME/bin:$PATH
source /etc/profile
  (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template  hive-site.xml重命名
     在目录$HIVE_HOME/conf/下，执行命令mv hive-env.sh.template  hive-env.sh重命名
  (3)修改hadoop的配置文件hadoop-env.sh，修改内容如下：
     export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
  (4)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：
     export JAVA_HOME=/usr/local/jdk
     export HIVE_HOME=/usr/local/hive
     export HADOOP_HOME=/usr/local/hadoop
注意：由于默认用的是hive默认用的是derby数据库
      当客户端1在hive命令行里进行建表操作后,用客户端2连接hadoop0，进去hive查询有哪些表,发现并没有客户端1所创建的表。
      退出hive后,输入ls命令后发现当前目录多了两个文件   derby.log和metastore_db。这两个是derby存储元仓储数据的文件。
      哪个客户端哪个目录下运行数据库,这两个文件就在哪里创建。
      于是我们会想到,进入同一台机器的同一个目录下进行数据库的操作。

      但是结果发现,出异常了,derby访问是独占式的,不允许并发访问。(估计能设置,老师没讲,直接MySql)

3.安装mysql,作为hive元仓储
  (1)删除linux上已经安装的mysql相关库信息。
rpm  -e  xxxxxxx   --nodeps  (--后的代码表示没有依赖,可以删除)
     执行命令 rpm -qa |grep mysql 检查是否删除干净
  (2)执行命令 rpm -i MySQL-server-5.5.31-2.el6.i686.rpm  安装mysql服务端 
  (3)启动mysql 服务端，执行命令  mysqld_safe &
  (4)执行命令 rpm -i MySQL-client-5.5.31-2.el6.i686.rpm  安装mysql客户端
  (5)执行命令mysql_secure_installation设置root用户密码 

4. 使用mysql作为hive的metastore

       (1)把mysql的jdbc驱动放置到hive的lib目录下  cp mysql-connector-java-5.1.10.jar /usr/local/hive/lib/

       (2)修改hive-site.xml文件，修改内容如下：  

<property>
	 <name>hive.metastore.warehouse.dir</name>
	 <value>/hive</value>   <!-- 这里改成hive路径 -->
	 <description>location of default database for the warehouse</description>
</property>
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>admin</value>
</property>

使得主机的Navicat for MySQL工具能连接linux上的MySql,需要在linux上的MySql输入
grant all on hive.* to 'root'@'%' identified by 'abc'  (abc是密码)

flush privileges;   刷新权限

5.内部表:

CREATE TABLE t1(id int);  

LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1;

注意:加了LOCAL表示从本地硬盘上某个文件加载,如果不写LOCAL就表示从HDFS上进行加载  路径就要写HDFS上了。

/root/id  表示加载root目录下id文件到表中
id文件内容是   
1
2
3
4
5

SELECT * FROM t1;

上面这种将文件加载到表中的方法和上传文件到HDFS上是一样的 

hadoop fs -put id /hive/t1/id2

创建多个字段的表

CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';   (括号后的这句话表示通过制表符来区分字段)

LOAD DATA LOCAL INPATH '/root/stu' INTO TABLE t2;

stu文件内容是

1      xxc1

2      xxc2

3      xxc3

4      xxc4

5      xxc5

SELECT * FROM t2;    如果SELECT id FROM t2;就需要通过MapReduce查询了

6.分区表

     CREATE TABLE t3(id int) PARTITIONED BY (day int); 

       LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t3 PARTITION (day=6);

这个分区主要体现在,在数据外加了一层目录进行区分。

这样的好处就是,如果每天都要写日志,按照以前的做法是往同一张表里添加数据,久而久之,数据越来越多,以后查询的时候肯定要先进行全表扫描,然后根据条件筛选出结果。而现在这个做法,每天都分一个目录,以后查询直接查某个目录下的数据就行了。

7. 桶表(桶表是对数据进行哈希取值，然后放到不同文件中存储。数据加载到桶表时，会对字段取hash值，然后与桶的数量取模。把数据放到对应的文件中。)

create table bucket_table(id int) clustered by(id) into 4 buckets;

set hive.enforce.bucketing = true;  使用桶

insert into table t4 select id from t3;

8. 外部表

create external table t5(id int) location '/external';   

当执行这句代码的时候,会在HDFS目录下创建一个external文件夹。这时候将id文件上传到HDFS的external文件夹，SELECT * FROM t5就有数据了,不需要和上面那些表那样需要加载数据。

ORDER BY:当MAP执行完后,把所有的数据送到一个Reduce中进行排序操作。

SORT BY:有多个REDUCE,在每个REDUCE内部进行部分数据的排序。

9.用JAVA操作HIVE

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

/**
 * 必须先在linux命令行里先执行
 * hive --service hiveserver >/dev/null  2>/dev/null &
 */
public class HiveApp {
	public static void main(String[] args) throws Exception {
		Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
		Connection con = DriverManager.getConnection("jdbc:hive://xxc:10000/default", "", "");
		Statement stmt = con.createStatement();
		String querySQL="SELECT * FROM default.t1";

		ResultSet res = stmt.executeQuery(querySQL);  

		while (res.next()) {
			System.out.println(res.getInt(1));
		}
	}
}