Hive创建UDAF函数

最新推荐文章于 2022-08-31 23:38:54 发布

xxydzyr

最新推荐文章于 2022-08-31 23:38:54 发布

阅读量1.2k

点赞数

分类专栏：从零开始Hadoop Hadoop 文章标签： Hadoop Hive

本文链接：https://blog.youkuaiyun.com/xxydzyr/article/details/100975350

版权

本文介绍了如何在Hive中创建并使用UDAF（用户自定义聚合函数）步骤，包括在Maven工程中创建Java类，打包成jar，上传到Linux，连接Hive，将jar添加到Hive并创建临时函数，最后进行测试。过程中提到，使用Hive UDAF可能涉及MapReduce任务，但在某些情况下开启本地模式也是可行的选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive创建UDAF函数

文章目录

- Hive创建UDAF函数

1. 在之前的maven工程上重新创建一个java类

package com.chinasofti.hive.udf;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.parse.SemanticException;
import org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFMkCollectionEvaluator;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFSum;
import org.apache.hadoop.hive.serde2.objectinspector.*;
import org.apache.hadoop.hive.serde2.typeinfo.TypeInfo;

import java.util.ArrayList;
import java.util.List;

/**
 * 实现MySQL中的GROUP_CONCAT 函数的功能，就是Oracle中list函数
 */
public class TestUDAF extends AbstractGenericUDAFResolver {
   

    // 创建LOG对象，用来写入警告和错误到hive的log。
    static final Log LOG = LogFactory.getLog(GenericUDAFSum.class.getName());

    public TestUDAF()

最低0.47元/天解锁文章