合并MapReduce操作

最新推荐文章于 2024-08-19 09:38:38 发布

小小哭包

最新推荐文章于 2024-08-19 09:38:38 发布

阅读量225

点赞数

分类专栏： IT行业大数据 Java 文章标签： hive sql 数据库

本文链接：https://blog.youkuaiyun.com/caryxp/article/details/130909458

版权

Java 同时被 3 个专栏收录

123 篇文章

订阅专栏

IT行业

74 篇文章

订阅专栏

大数据

64 篇文章

订阅专栏

Hive的Multi-groupby特性允许在单个查询中进行多次分组，减少了MapReduce操作，例如在示例中对性别和学校进行连续分组统计。Multi-distinct是淘宝开发的功能，用于在同一查询中执行多个distinct操作，同样优化了计算效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Multi-group by

Multi-group by是Hive的一个非常好的特性，它使得Hive中利用中间结果变得非常方便。例如，

FROM (SELECT a.status, b.school, b.gender

FROM status_updates a JOIN profiles b

ON (a.userid = b.userid and a.ds='2009-03-20' )

) subq1

INSERT OVERWRITE TABLE gender_summary

PARTITION(ds='2009-03-20')

SELECT subq1.gender, COUNT(1) GROUP BY subq1.gender

INSERT OVERWRITE TABLE school_summary

PARTITION(ds='2009-03-20')

SELECT subq1.school, COUNT(1) GROUP BY subq1.school

上述查询语句使用了Multi-group by特性连续group by了2次数据，使用不同的group by key。这一特性可以减少一次MapReduce操作。

Multi-distinct

Multi-distinct是淘宝开发的另一个multi-xxx特性，使用Multi-distinct可以在同一查询/子查询中使用多个distinct，这同样减少了多次MapReduce操作。