hive-UDTF开发

最新推荐文章于 2021-08-24 20:26:14 发布

原创

最新推荐文章于 2021-08-24 20:26:14 发布 · 421 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了Hive中的UDTF，特别是User-Defined Table-Generating Functions，它们能将一行数据转换为多行。重点讨论了Hive内置的explode函数，并详细阐述了UDTF的开发过程，包括需要继承的`GenericUDTF`类，以及必须实现的`initialize`、`process`和`close`方法。通过示例展示了如何创建一个将字符串分割成多行的UDTF。

@TOChive udtf
UDTF(User-Defined Table-Generating Functions)。一进多出,可以对一行数据转成多行
对于hive自带的udtf,我们经常使用的是explode函数,可以将一行拆成多行输出。
UDTF需要继承的类
1)org.apache.hadoop.hive.ql.udf.generic.GenericUDTF
UDTF需要实现的方法
1)abstract StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException;
初始化方法,指定输入输出参数。此方法返回UDTF的返回行的信息（返回个数，类型）
2)abstract void process(Object[] record) throws HiveException;
UDTF真正的处理过程在这个方法里面。每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数
3)abstract void close() throws HiveException;
结束的方法。可以在该方法中清理代码或者附加其他处理输出

例1:分割字符串,转成多行。

 package com.udf;
 import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
 import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
 import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
 import org.apache.hadoop.hive.ql.metadata.HiveException;
 import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
 import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
 import org.apache