HeatDeath的博客

MapReduce原理与设计思想一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？MapReduce方法则是： 给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你你把所有玩家告诉你的数字加起来，得到最后的结论 拆分 MapReduce合并了两种经典函数： 映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想

① Map 的数量通常是由 Hadoop 集群的数据块大小（输入文件的总块数）确定的，正常的 Map 数量的并行规模大致是每一个 Node 是10~100个。② 正常Reduce任务的个数应该是0.95或者1.75*（节点数*CPU数量）。（1）如果任务数是节点个数的0.95倍，那么所有的Reduce任务能够在 Map任务的输出传输结束后同时开始运行。（2）如果任务数是节点个数的1.75倍，那么高速