Hive自定义函数简单概述

---

一、概述

--1. 在hive中有三种自定义函数：
1. UDF  ：一进一出  --一行变一行
2. UDTF : 一进多出  -- 一行变多行
3. UDAF ：多进一出  -- 多行变一行

-- 2. 实现步骤：
   a、进入函数的是什么参数
   b、希望得到什么结果
   c、考虑通用性

二、UDTF函数

2.1 UDTF解析

-- 1. 说明
A custom UDTF can be created by extending the GenericUDTF abstract class and then implementing the initialize, process, and possibly close methods. The initialize method is called by Hive to notify the UDTF the argument types to expect. The UDTF must then return an object inspector corresponding to the row objects that the UDTF will generate. Once initialize() has been called, Hive will give rows to the UDTF using the process() method. While in process(), the UDTF can produce and forward rows to other operators by calling forward(). Lastly, Hive will call the close() method when all the rows have passed to the UDTF.

    -- 解析如上内容：
    1. 自定义UDTF函数，继承于抽象类GenericUDTF;
    2. 实现initialize, process,close 的三个方法；
    3. 三个方法的作用说明：
       1. 'initialize()'：
          a、规定形参的参数类型：Hive调用initialize()方法，来告诉UDTF函数接收参数的类型，然后在这个方法中就可以对参数的
          类型进行校验，参数类型包括个数、数据类型等等
          b、规定函数返回结果数据类型：返回initialize()方法必须返回一个与UDTF将生成的行对象对应的对象检查器   
       2. 'process()'：
          a、调用时机：initialize()被调用以后，即对输入的数据进行了检查满足条件以后，执行这个方法
          b、作用：一行数据调用一次process方法，process方法的内部，会遍历这一行数据，如果是数组，那就遍历数组，遍历以后的
          一个元素，调用一次forward()方法，对数据进行输出。
       3. 'close()'：
          a、调用时机：当hive中的所有行都通过了UDTF函数以后，则Hive会调用这个close方法
          b、作用：关闭资源。      

2.2 代码实现

package com.atguigu.hive;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructField;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.json.JSONArray;

import java.util.ArrayList;
import java.util.List;

/**
 * @author lianzhipeng
 * @Description
 * @create 2020-06-30 18:25:10
 */

public class ExplodeJSONArray extends GenericUDTF {
   
    /*
    StructObjectInspector:结构体,输出数据类型和返回数据类型均是结构体
    UDTF：返回的数据可以是多列，多列可以封装到struct类型中
    [agr1:type1,agr2:type2,agr3:type3,...]