【Hive自定义UDF函数】

最新推荐文章于 2024-11-19 15:58:54 发布

原创最新推荐文章于 2024-11-19 15:58:54 发布 · 229 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #big data #hive

Java 同时被 2 个专栏收录

3 篇文章

订阅专栏

Hive

2 篇文章

订阅专栏

本文档详细介绍了如何在Hive中创建并使用自定义UDF（用户定义函数）。首先，通过Maven添加Hive-exec依赖，然后创建一个Java类，继承UDF并实现evaluate方法，将字符串转换为小写。接着，将编译后的jar包上传到服务器，并在Hive中添加该jar包。之后，创建临时和永久函数，使Hive能识别这个自定义函数。在Hive会话中，可以使用这个函数进行数据处理。最后，展示了如何删除这些自定义函数。请注意，临时函数仅在当前会话中有效，而永久函数则一直可用。

（1）导入依赖

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-exec</artifactId>
  <version>2.3.3</version>
</dependency>

（2）自定义一个java类，继承UDF类，重写evaluate方法

package com.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
//com.hive.ToLower
public class ToLower extends  UDF{
    public String evaluate(String s){
        if (s==null){
            return null;
        }
        return s.toString().toLowerCase();
    }
}

（3）打成jar包上传到服务器

自定义UDF类打包

（4）添加jar包到Hive

add jar
查看jar包

（5）创建临时函数，与自定义UDF类关联

在这里插入图片描述

（6）创建永久函数，与自定义UDF类关联

拷贝jar包到hive的lib目录下
创建永久关联函数

create function tolowercase as 'cn.jixiang.udf.ToLower';

在这里插入图片描述

查看函数

Show functions;

在这里插入图片描述

（7）在Hive中使用自定义的UDF函数

在这里插入图片描述

（8）删除自定义函数

删除临时函数

drop temporary function tolowercase;

在这里插入图片描述

删除永久函数

drop function tolowercase;

在这里插入图片描述

注意：创建的临时函数只在一次Hive会话中有效，重启会话后就无效。永久函数始终有效