MapReduce 以及 Python中的Map和Reduce

（先挖个坑）

MapReduce由来

• MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法，论文地址：MapReduce: Simplified Data Processing on Large Clusters
• Doug Cutting 基于Java设计开发了一个称为Hadoop的开源MapReduce并行计算框架和系统

Map和Reduce

• Map 函数原型
  map(*function*, *iterable*, *...*) -> Iterator
  意思是map函数对第二个参数(或者后面更多的参数)进行迭代，将迭代的元素作为参数传递给function，function将处理过的结果是Iterator，是惰性序列（因此通过list()函数让它把整个序列都计算出来并返回一个list）
• Reduce 函数原型
  reduce(*function*, *iterable*[, *initializer*]) -> value
  reduce把一个函数作用在一个序列[x1, x2, x3, …]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算

Python中的并行计算

更多参考：

1. 百度百科：MapReduce
2. python中的map和reduce