本文介绍了SQL中的三种常用聚合函数：join、group by 和 count distinct 的使用方法及应用场景。重点讲解了count distinct 在MapReduce场景下的处理流程，包括如何在Map阶段和Reduce阶段实现数据去重。
join
语句：select u.name,a.orderid from order a join user b on a.uid=b.uid
group by
语句：select rank,isonline,count(*) from city group by rank,isonline
count distinct
语句：select dealid,count(distinct uid) num from order group by dealid
总结：count distinct场景下，在Map阶段无法利用combine对输出结果消重，必须将id作为Key输出，在Reduce阶段再对来自于不同Map Task、相同Key的结果进行消重，计入最终统计值。在count distinct场景下只有一个reduce
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
