HIVE- 新建UDF范例

本文介绍如何在Hive中使用自定义UDF进行日期格式转换,包括创建Java类、打包并上传到Linux,以及在Hive中注册和使用该UDF。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先pom文件导入依赖,Hadoop和hive的依赖导入自己机器的版本,hive记得导jdbc

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-service</artifactId>
            <version>1.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>1.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.1</version>
        </dependency>

新建UDF的Java类

package com.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * Created by lenovo on 2017/10/26.
 */
public class DateTransforUDF extends UDF{

    public static final SimpleDateFormat inputFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  //匹配讲要格式化的日期格式
    public static final SimpleDateFormat outputFormat=new SimpleDateFormat("yyyyMMddHHmmss");  //要格式化的最终格式
    /*
    2013-02-17 10:38:34
    20130217103834
     */

    public Text evaluate(final Text input){
        Text output=new Text();

        if (null==input){
            return null;
        }
        String inputDate = input.toString().trim();
        if(null==inputDate){
            return null;
        }
        try {
            Date parseDate = inputFormat.parse(inputDate);
            String outputDate = outputFormat.format(parseDate);
            output.set(outputDate);
        } catch (ParseException e) {
            e.printStackTrace();
            return output;
        }
        return output;
    }

    public static void main(String[] args) {
        System.out.println(new DateTransforUDF().evaluate(new Text("2013-02-17 10:38:34")));
    }
}

打jar包,上传到Linux,

hive (register_info)> add jar /root/hive_udf/BaseTest-1.0-SNAPSHOT.jar
                    > ;
Added [/root/hive_udf/BaseTest-1.0-SNAPSHOT.jar] to class path
Added resources: [/root/hive_udf/BaseTest-1.0-SNAPSHOT.jar]
hive (register_info)> create temporary function Tdate as 'com.test.OnlyDateUDF';
OK
Time taken: 0.006 seconds

 

转载于:https://www.cnblogs.com/RzCong/p/7844975.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值