Hive函数——UDF

最新推荐文章于 2025-05-29 23:38:09 发布

Fenggms

最新推荐文章于 2025-05-29 23:38:09 发布

阅读量278

点赞数

CC 4.0 BY-SA版权

分类专栏： Hive 文章标签： Hive UDF 自定义UDF

本文链接：https://blog.youkuaiyun.com/Fenggms/article/details/82889220

Hive 专栏收录该内容

12 篇文章

订阅专栏

本文深入解析Hive中的用户自定义函数(UDF)，包括UDF、UDAF和UDTF的分类与应用场景，提供了详尽的开发步骤与注意事项，通过实例演示了如何使用Java开发并部署自定义函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive函数

内置函数

查看系统自带的函数

 show functions;

显示自带的函数的用法

desc function upper;

详细显示自带的函数的用法

desc function extended upper;

相关内置函数可参考：
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

自定义函数

Hive 自带了一些函数，比如：max/min等，但是数量有限，可以通过自定义UDF来方便的扩展。
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。

根据用户自定义函数类别分为以下三种：

（1）UDF（User-Defined-Function）
	一输入一输出
（2）UDAF（User-Defined Aggregation Function）
	聚集函数，多输入一输出
	类似于：count/max/min
（3）UDTF（User-Defined Table-Generating Functions）
	一输入多输出
	如lateral view explore()

官方文档地址

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

编程步骤：

（1）继承org.apache.hadoop.hive.ql.UDF
（2）需要实现evaluate函数；evaluate函数支持重载；

注意事项

（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；
（2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

通过java进行UDF开发实例

1、导包，引入依赖

<repositories>
    <repository>
        <id>cloudera</id>
 <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0-cdh5.14.0</version>
    </dependency>
</dependencies>

2、开发java类继承UDF，并重载evaluate 方法

public class MyUDF extends UDF {
    public Text evaluate(final Text s) {
        if (null == s) {
            return null;
        }
        //返回大写字母
        return new Text(s.toString().toUpperCase());

    }
}

3、打包，上传到hive的lib目录下

上传jar包并将jar包进行重命名，这里命名为MyUDF.

4、在hive客户端添加jar包

add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/MyUDF.jar;

5、设置函数与我们的自定义函数关联

create temporary function touppercase as 'com.fgm.udf.MyUDF';

6、使用自定义函数

select touppercase (‘abc’);