本文详细介绍了Hadoop中的MapReduce，通过实例解释MapReduce的计算思想，以及分布式计算的优势。MapReduce由Map和Reduce两个阶段组成，Map阶段进行数据局部汇总，Reduce阶段进行全局汇总，适用于海量数据的快速计算。文章还深入剖析了MapReduce的工作原理，包括Map阶段的六个步骤和Reduce阶段的四个步骤。
一、Hadoop之MapReduce详解
前面我们学习了Hadoop中的HDFS，HDFS主要是负责存储海量数据的，如果只是把数据存储起来，除了浪费磁盘空间，是没有任何意义的，我们把数据存储起来之后是希望能从这些海量数据中分析出来一些有价值的内容，这个时候就需要有一个比较厉害的计算框架，来快速计算这一批海量数据，所以MapReduce应运而生了，那MapReduce是如何实现对海量的快速计算的呢？它的底层原理是什么样的呢？不要着急，且听下面分解。
二、MapReduce介绍
在这里我们先举个例子来介绍一下MapReduce
计算扑克牌中的黑桃个数
就是我们平时打牌时用的扑克牌，现在呢，有一摞牌，我想知道这摞牌中有多少张黑桃
最直接的方式是一张一张检查并且统计出有多少张是黑桃，但是这种方式的效率比较低，如果说这一摞牌只有几十张也就无所谓了，如果这一摞拍有上千张呢？你一张一张去检查还不疯了？
这个时候我们可以使用MapReduce的计算方法
第一步：把这摞牌分配给在座的所有玩家
第二步：让每个玩家查一下自己手中的牌有多少张是黑桃，然后把这个数目汇报给你
第三步：你把所有玩家告诉你的数字加
订阅专栏 解锁全文
扫一扫
1228
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
