pig中将两列合并为一列:concat

本文介绍如何在Pig中统计由两个属性组成的集合中有多少个独特的元组。通过使用group操作和concat函数简化这一过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

aggregate=congregate

 

在新任务中,需要统计两个属性组成的集合,对应有多少个unique 元组。

在pig中统计是很恶心的事,必须先group (详见http://blog.youkuaiyun.com/longshenlmj/article/details/8481932

我想通过cogroup做,发现不合适。于是还是用group 做:

T=group table by (a1,a2)后生成一个映射组

然后,cou=group T all;

对cou统计$1的个数就可以了。

(我想说,pig有点坑爹了)

  

杰007试了一下,感觉不爽,使用concat函数将两和字符属性列,合并成一列,直接组成一个属性值

chararray CONCAT(chararray c1, chararray c2)
Parameters:
c1
c2
Returns:
Concatenation of c1 and c2

这样处理起来方便很多,生成新列c1c2,只需要group c1c2 all 后进行统计就好了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值