自定义hive的UDTF函数实现对JSON数组中的JSON对象分离

原创

已于 2022-04-22 15:15:30 修改 · 2.9k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hive

于 2022-04-22 11:07:29 首次发布

本文介绍了如何在Hive中自定义一个用户定义表函数(UDTF)，用于解析JSON数组。通过继承GenericUDTF并重写initialize和process方法，实现对输入的字符串转换为JSONArray，并逐个处理每个JSON对象。

在我们使用hive进行解析JSON时，虽然有get_json_object函数进行解析，但是功能有限，无法对一个JSON数组进行解析。那么就需要我们自定义一个函数来将数组炸裂开，分成一个个JSON对象去解析。

自定义一个类继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF

重写 initialize，process方法

需要注意的是输出forward必须是一个集合和数组，否则可能会出错。

代码：

package com.royal.hive.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.Pri