hive UDF编程

最新推荐文章于 2025-02-07 21:20:27 发布

原创最新推荐文章于 2025-02-07 21:20:27 发布 · 443 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #UDF

Hive 专栏收录该内容

8 篇文章

订阅专栏

UDF编程（User Defined Function）

（1）创建java项目，添加maven依赖

 <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>2.2.0</version>
</dependency>
 <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.2.0</version>
</dependency>

（2）创建类继承org.apache.hadoop.hive.ql.UDF;实现evaluate函数，evaluate函数支持重载。

public class LowerUDF extends UDF {
    public Text evaluate(Text s) {
        if (s == null) { return null; }
        return new Text(s.toString().toLowerCase());
    }
}

（3）打成jar包

（4）注册

方式一：

//（1）执行命令添加jar，jar再本地文件系统
 add jar /home/bxp/Documents/doc/hivetest/hive.jar 
//（2）创建临时函数
create temporary function my_lower as "com.bxp.hadooptest.hive.udf.LowerUDF"
//（3）使用自定义函数
select my_lower(name) from emp;

方式二：

//此方式不需要添加jar，但是必须先将jar文件上传到hdfs文件系统
create function my_lower1 AS 'com.bxp.hadooptest.hive.udf.LowerUDF' using jar “hdfs://192.168.1.103/user/bxp/hive/jars/hivetest.jar";

注意：

UDF必须有返回类型，可以返回null，但是返回类型不能是void。
UDF中常用Text/LongWritable等类型，不推荐使用java类型。