Hive函数与流处理:高级应用指南
1. GROUP_CONCAT的替代实现
在Hive中,GROUP_CONCAT功能可以通过结合GROUP BY、COLLECT和concat_ws()函数来实现。示例代码如下:
hive> SELECT str, concat_ws( ',' , collect(cast(countVal AS STRING)))
> FROM collecttest GROUP BY str;
执行结果示例:
| str | concat_ws结果 |
| — | — |
| eleven | 11,10 |
| twelve | 12,1 |
2. 用户定义表生成函数(UDTF)
2.1 UDTF概述
普通的用户定义函数(UDF)虽然可以返回数组或结构体,但无法返回多列或多行数据。而用户定义表生成函数(UDTF)则提供了一个编程接口,能返回多列甚至多行数据。
2.2 生成多行的UDTF
2.2.1 示例:类似for循环的UDTF
我们以一个类似for循环的UDTF为例,该函数接收用户输入的起始值和结束值,然后输出N行数据。示例代码如下:
hive> SELECT forx(1,5) AS i FROM collecttest;
输出结果:
超级会员免费看
订阅专栏 解锁全文
1226

被折叠的 条评论
为什么被折叠?



