阿亮的博客

大数据处理  — mapreduce的简易见解MapReduce是一种编程模型，用于大规模数据集的并行运算. 概念 Map(映射)和 Reduce(归约), 是他们的主要思想,它极大方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上. 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对(Mapper的输入键值)映射成一组新的键值对(Mapper的输出键值)，指定并...

浅析MapReduce -> shuffleshuffle的意思就是洗牌，它是MapReduce的核心，也是被称为奇迹发生的地方，因为MapReduce玩的就是洗数据，然后让数据出现在该出现的位置.官方描述的shuffle过程，我们不太可能明白shuffle的过程，因为它与事实相差挺多的，细节也是错乱的. 我们现在这样理解就可以了， shuffle描述着数据从map task输出到reduc...