MapReduce实现SQL的操作原理

Xlucas

于 2018-01-26 00:26:53 发布

阅读量2.1k

点赞数

本文链接：https://blog.youkuaiyun.com/paicMis/article/details/79168089

版权

本文探讨了如何使用MapReduce实现SQL操作，包括join、Group By和Distinct的原理。在join中，通过在map输出中为不同表数据打tag标记，在reduce阶段依据tag进行处理。Group By利用MapReduce的排序，将GroupBy字段作为输出key。对于Distinct，当只有一个字段时，通过MapReduce排序和LastKey实现去重；而当有多个distinct字段时，提出两种实现方式，一种依赖内存中的Hash去重，另一种通过生成额外行数据利用排序减少内存消耗但增加shuffle数据量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本来想讲一下hive的一条SQL怎么转换成MapReduce的，但是想了一下还是先讲讲一条SQL语句怎么用MapReduce来执行

join的实现原理

select ply.policy_date,sale.ply_sale_name from ply_base_info ply join ply_sale sale on ply.policy_no=sale.policy_no

在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下
这里写图片描述

Group By的实现原理

select policy_date,policy_type,coun

最低0.47元/天解锁文章