Hive UDF函数扩展实现步骤

本文详细介绍了在Hive中如何创建和使用自定义函数,包括UDF(一进一出)、UDAF(多进一出)和UDTF(一进多出)。首先,你需要编写Java类并继承UDF,实现所需函数逻辑。然后,将程序打包成Jar并上传到Hive服务器或HDFS。接着,在Hive客户端添加Jar到classpath,并注册为临时或永久函数。最后,你可以直接在Hive查询中使用这些自定义函数进行数据处理。

Hive自定义函数中主要分为三类UDF函数(一进一出)、UDAF聚合函数(多进一出)、UDTF表生成函数(一进多出)

1. 编写一个Java类,继承UDF类,并重载evaluate方法。方法中实现函数的逻辑(可以在一个Java类中实现多个函数)。

2.  把程序打包成Jar,上传到HiveServer所在机器或者HDFS上。

3.  客户端命令行中添加Jar包到Hive的classpath中,可以直接放到${HIVE_HOME}/lib中

    hive> add Jar  /xxx/xxx/xxx.jar   命令格式

4. 注册成为临时函数或永久函数。

    --  临时函数 

    create temporary  function 函数名 as 'UDF类全路径'

    --  永久函数(需要上传Jar包到hdfs上)

CREATE FUNCTION 函数名 AS 'UDF类全路径'  USING JAR 'hdfs://xxx/xxx/xxx.jar';

5. 开始使用函数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值