1分钟理解map reduce,其实它就在我们身边

linux平台下有个ls指令,大家都很熟悉:

① ls | grep 2008   查询文件名包含2008的文件(这其实就是一个map,找到需要的数据)

② ls | grep 2008 | wc -l 计算上述指令查询文件个数(这其实就是一个reduce,对找到数据进行汇总聚合)

 

再来一个例子,关于SQL:select * from device

 

① select * from device t where t.name like 'CNC-Bj%'  (这其实就是一个map,找到需要的数据)

② select count(*) from device t where t.name like 'CNC-Bj%' (这其实就是一个reduce,对找到数据进行汇总聚合)

 

第二个SQL的例子在hive中就是通过mapreduce实现的,①为一个map任务 ②为一个reduce任务

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值