Hive环境搭建

1.Hive
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。
  本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
  hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
  这套映射工具称之为metastore，一般存放在derby、mysql中。
1.2 hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。
2.hive的安装
  (1)解压缩、重命名、设置环境变量
  (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template  hive-site.xml重命名
     在目录$HIVE_HOME/conf/下，执行命令mv hive-env.sh.template  hive-env.sh重命名
  (3)修改hadoop的配置文件hadoop-env.sh，修改内容如下：
     export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
  (4)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：
     export JAVA_HOME=/usr/local/jdk
     export HIVE_HOME=/usr/local/hive
     export HADOOP_HOME=/usr/local/hadoop
3.安装mysql
  (1)删除linux上已经安装的mysql相关库信息。rpm  -e  xxxxxxx   --nodeps
     执行命令rpm -qa |grep mysql 检查是否删除干净
  (2)执行命令 rpm -i   mysql-server-********  安装mysql服务端    
  (3)启动mysql 服务端，执行命令  mysqld_safe &
  (4)执行命令 rpm -i   mysql-client-********  安装mysql客户端
  (5)执行命令mysql_secure_installation设置root用户密码
4. 使用mysql作为hive的metastore
  (1)把mysql的jdbc驱动放置到hive的lib目录下
  (2)修改hive-site.xml文件，修改内容如下：  
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>admin</value>

    </property>

修改后执行hive 进入hive 脚本环境，如果启动hive成功，这是mysql那里会产生一个名为hive的数据库实例，但是此时mysql是禁止远程连接的，可以进入mysql执行下面命令

grant all on hive.* to 'root'@'%' identified by 'admin'; 意思是给hive数据库实例下的所有内容授权，授权给任意地方以root用户，密码为admin的连接。

5. 内部表
   CREATE TABLE t1(id int);  
   LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1;
   创建t2表，表中两个字段，可以用以‘\t’分隔的文本文件中的记录load到t2表中
   CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
6. 分区表
   CREATE TABLE t3(id int) PARTITIONED BY (day int);  

   LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1 PARTITION (day=22);  

   select * from t1 where day = 22;

7. 桶表

   create table t4(id int) clustered by(id) into 4 buckets;

   set hive.enforce.bucketing = true;
不能用load data加载，需要使用insert，会使用mapreduce进行处理
   insert into table t4 select id from t3;
8. 外部表

   create external table t5(id int) location '/external';

外部表在drop后，只会删除表信息，hive中将查不到该表，但是在外部目录中数据还存在。

Java API

如果使用Java API的话需要先执行下面的命令：

Hive远程服务启动#hive --service hiveserver >/dev/null  2>/dev/null &

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
Connection con = DriverManager.getConnection("jdbc:hive://hadoop1:10000/default", "", "");
Statement stmt = con.createStatement();
String querySQL="SELECT * FROM t1";

ResultSet res = stmt.executeQuery(querySQL);  

while (res.next()) {
System.out.println(res.getString(1) +"\t" +res.getLong(2)+"\t" +res.getLong(3)+"\t" +res.getLong(4)+"\t" +res.getLong(5));
} 

1、UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。
2、编写UDF函数的时候需要注意一下几点：
a）自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
b）需要实现evaluate函数，evaluate函数支持重载。

3、步骤
a）把程序打包放到目标机器上去；
b）进入hive客户端，添加jar包：hive>add jar /run/jar/udf_test.jar;
c）创建临时函数：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
d）查询HQL语句：
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;
e）销毁临时函数：hive> DROP TEMPORARY FUNCTION add_example;
注：UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF

想要查询内置的UDF函数 可以在hive命令行上执行 tab ，提示是否显示，输入 y 即可

想查询具体函数的用法 执行 describe function ***;