java写hive自定义函数,Hive自定义函数与JDBC连接

自定义函数

编写代码

1.创建一个普通Java工程

2.导入hive安装目录下lib中所有以hive打头的jar包

3.写代码实现一个ToUpper类

package com.jv.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

public class MyToUpper extends UDF{

public String evaluate(String src) {

return src.toUpperCase();

}

}

4.导入jar包

5.上传jar包到hive安装目录下的lib中

注册函数

1.添加jar

hive> add jar /home/hadoop/proc/apache-hive-1.2.2/lib/mytoupper.jar;

输出：

2.注册类

create temporary function mytoupper as 'com.jv.hive.MyToUpper';

输出：

3.测试

select mytoupper(ename) from emp limit 10;

输出：

重要：上面注册的UDF函数是临时的，如果退出hive客户端，再进去就无法使用mytoupper函数

Hive提供了永久注册函数的方式：

create function park.mytoupper as 'com.jv.hive.MyToUpper' using jar 'hdfs://192.168.245.150:9000/user/hive/warehouse/udf/mytoupper.jar'

park是数据库名

jar包需要放到hdfs中

所有客户端连接上来都可以使用mytoupper函数

其他数据库要使用该函数可以加park.mytoupper

建议不要弄太复杂的函数，如果效率低下会严重影响hive的性能，甚至把机器搞挂

jdbc访问Hive

1.在服务器上启动hive service

./hive --service hiveserver2 &

2.在上面的工程中加入hadoop-common-2.7.1.jar包

3.编写代码

package com.jv.hive;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.Statement;

public class TestHiveJdbc {

public static void main(String[] args) throws Exception {

Class.forName("org.apache.hive.jdbc.HiveDriver");

Connection conn = DriverManager.getConnection("jdbc:hive2://192.168.245.150:10000/park","root","root");

Statement stat = conn.createStatement();

/*

* 1.如果注册UDF函数是临时的，想要在代码中使用UDF还需重新注册

String sql = "add jar /home/hadoop/proc/apache-hive-1.2.2/lib/mytoupper.jar";

stat.execute(sql);

sql = "create temporary function mytoupper as 'com.jv.hive.MyToUpper'";

stat.execute(sql);

* 2.如果注册UDF函数是永久的，则可以直接使用UDF函数

*/

ResultSet rs = null;

rs = stat.executeQuery("select mytoupper(ename) ename from emp limit 10");

while(rs.next()) {

System.out.println(rs.getString("ename"));

}

stat.close();

conn.close();

}

}

只是为了演示，所以异常处理都是直接throws