Hive中UDF、UDAF和UDTF使用

最新推荐文章于 2025-05-29 10:41:12 发布

huimingBall

最新推荐文章于 2025-05-29 10:41:12 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： Hive UDF UDAF UDTF

本文链接：https://blog.youkuaiyun.com/fover717/article/details/64926854

本文介绍了Hive中的内置函数，并详细讲解了UDF、UDAF和UDTF的区别与使用。重点在于UDTF的实现，包括继承GenericUDTF，实现initialize、process和close方法，以及如何通过forword()方法返回处理结果。还提供了一个实例，展示如何将'key:value;key:value;'格式的字符串拆分为key和value字段。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Hive中的内置函数

org.apache.hadoop.hive.ql.exec.FunctionRegistry类中定义了Hive目前内置的自定义函数

    registerGenericUDF("concat", GenericUDFConcat.class);
    registerUDF("substr", UDFSubstr.class, false);
    registerUDF("substring", UDFSubstr.class, false);
    registerUDF("space", UDFSpace.class, false);
    registerUDF("repeat", UDFRepeat.class, false);
    registerUDF("ascii", UDFAscii.class, false);
    registerGenericUDF("lpad", GenericUDFLpad.class);
    registerGenericUDF("rpad", GenericUDFRpad.class);

    registerUDF("ln", UDFLn.class, false);
    registerUDF("log2", UDFLog2.class, false);
    registerUDF("sin", UDFSin.class, false);
    registerUDF("asin", UDFAsin.class, false);
    registerUDF("cos", UDFCos.class, false);
    registerUDF("acos", UDFAcos.class, false);
    registerUDF("log10", UDFLog10.class, false);
    registerUDF("log", UDFLog.class, false);
    registerUDF("exp", UDFExp.class, false);
    registerGenericUDF("power", GenericUDFPower.class);
    registerGenericUDF("pow", GenericUDFPower.class);
    registerUDF("sign", UDFSign.class, false);
    registerUDF("pi", UDFPI.class, false);
    registerUDF("degrees", UDFDegrees.class, false);
    registerUDF("radians", UDFRadians.class, false);
    registerUDF("atan", UDFAtan.class, false);
    registerUDF("tan", UDFTan.class, false);
    registerUDF("e", UDFE.class, false);

    registerUDF("conv", UDFConv.class, false);
    registerUDF("bin", UDFBin.class, false);
    registerUDF("hex", UDFHex.class, false);
    registerUDF("unhex", UDFUnhex.class, false);
    registerUDF("base64", UDFBase64.class, false);
    registerUDF("unbase64", UDFUnbase64.class, false);

    registerGenericUDF("encode", GenericUDFEncode.class);
    registerGenericUDF("decode", GenericUDFDecode.class);

    registerGenericUDF("upper", GenericUDFUpper.class);
    registerGenericUDF("lower", GenericUDFLower.class);
    registerGenericUDF("ucase", GenericUDFUpper.class);
    registerGenericUDF("lcase", GenericUDFLower.class);
    register