Hive函数

UDF:

参照https://cwiki.apache.org/confluence/display/Hive/OperatorsAndFunctions

1、创建要实现的功能类,继承UDF,需要覆盖evaluate方法

2、将要实现的功能类编译成jar包,并添加值hive classpath

   进入hive shell模式,通过 add jar path 命令

3、创建自定义的聚合函数名称并指定实现类,如下

   create temporary function parseYear as 'com.hive.udf.ParseYearUDF';//解析出日期中年份

4、实现调用：

   select parseYear(date) from mm where id=1;

ReflectUDF:

参照https://cwiki.apache.org/confluence/display/Hive/ReflectUDF

UDAF:

实现一个通用的UDAF有两个部分：

1、编写一个解析器类 处理类型检查和操作符重载 并帮助hive找到正确的评估者类对于给定的一组参数类型。然后评估类实际上实现了UDAF逻辑

2、创建一个评估者类 UDAF的实际逻辑实现

一般来说,顶级UDAF类扩展了抽象基类org.apache.hadoop.hive.ql.udf.GenericUDAFResolver2,评估者类写成静态内部类。

add jar /home/demo/hongyuan/bigdata-hive.jar ;

create temporary function rmv as 'com.hive.udf.RemoveDuplicateUDAF';

select rmv(name) from mytest ;