hive中函数

常使用过哪些系统函数

avg max min sum count distinct

date_format函数（根据格式整理日期）

date_add函数（加减日期）date_sub加减日期 date_diff计算日期之间相差的天数

next_day函数（当前天的下周一、二。。。日）

last_day函数（求当月最后一天日期）

concat：任何一个参数为null ，则返回值为 null，语法：concat (str1,str2,…)

concat_ws：可以指定参数之间的分隔符第一个参数申明。分隔符可以是一个字符串或者其它参数。分隔符为 null，结果为 null，拼接的字符串为null，则会忽略该字符串。

collect_set按照某列进行多行去重合并

collect_list按照某列进行多行不去重合并

cast类型转换。语法cast(字段名 as 转换的类型 )

if判断--if（条件表达式，true结果1，false结果2）

窗口函数

 OVER()：指定分析函数工作的数据窗口大小，数据窗口大小可能会随着行的变而变化

explode(array<type>a)  炸裂函数数组，一行对应数组中的一个元素，结果返回N行

explode(map<key,value>a) 炸裂函数map，一行对应一个key，value 返回多行

posexplode()实现多列转多行

ROW_NUMBER() 从1开始，按照顺序，生成分组内记录的序列（3,4,5）

RANK()生成数据项在分组中的排名，排名相等会在名次中留下空位（3,3,5）。

DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位（3,3,4）。

FIRST_VALUE 取分组内排序后，截止到当前行，第一个值

LAST_VALUE 取分组内排序后，截止到当前行，最后一个值

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值

LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值

第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

4个By区别

1）Sort By：分区内有序；

2）Order By：全局排序，只有一个Reducer；

3）Distrbute By：类似MR中Partition，进行分区，结合sort by使用。

4） Cluster By：当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。

自定义UDF、UDTF

1）自定义过。

2）用UDF函数解析公共字段；用UDTF函数解析事件字段。

自定义UDF：继承UDF，重写evaluate方法（处理逻辑，阿里fastjson解析取值）

       自定义UDTF：继承自GenericUDTF，重写3个方法：initialize(自定义输出的列名和类型)，process（阿里fastjson解析，遍历jsonarray将结果返回forward(result)），close

为什么要自定义UDF/UDTF，因为自定义函数，可以自己埋点Log打印日志，出错或者数据异常，方便调试.

打包，上传服务器，在hive中add jar ，然后创建函数指定全类名，调用函数即可。