【翻译】MapReduce: 大集群上简化的数据处理

MapReduce: 大集群上简化的数据处理

原文:
MapReduce: Simplified Data Processing on Large Clusters

作者：

Jeffrey Dean and Sanjay Ghemawat
jeff@google.com, sanjay@google.com
Google, Inc.

前言

MapReduce是一种编程模型，和与之相关能处理与生成大量数据的实施手段。用户定义一个 map 的函数，它会处理一对键/值，生成一组中间的键/值。并定义一个 reduce 函数，用来把所有与中间键相同的中间值合并到一起。如本论文所说，很多现实中的任务都可以用这个模型来描述。

使用这种函数式风格写出来的程序，自动就有能够在商品服务器的大型集群中并行运行的能力。运行中的系统会处理好将输入数据分片，在一组服务器上安排程序的运行，解决机器出错的情况，并且管理机器之间的通信问题。这可以让没有任务并发与分布式经验的程序员们能够轻松地使用大型分布式系统的资源。

我们的 MapReduce是在一个大型商品服务器集群上实现的，它的扩展度非常高：通常一个 MapReduce 计算任务会在上千台机器上处理 TB 级别的数据。程序员们觉得这个系统非常好用：成千的 MapReduce 程序被开发出来，并且上千的 MapReduce任务每天都在谷歌的集群上运行着，这个数字还在增加。

1.简介

在过去五年，本文作者与众多谷歌同事开发了成百的，有特定目的计算任务，这些任务都会处理大量的原始数据，比如爬虫抓取来的文档，网络请求的日志等。这些任务被用来计算各种各样的数据，比如反向索引，出网络文档图结构的多种表现，每个主机抓取的文档数目的总结，一组一天内最频繁出现的搜索词，等等。大多数这类计算都在理论上很直观。但是，输入数据通常非常大，并且这些计算必须分布到成百上千台机器上运行，为了在可以接受的时间内完成。如何把计算并行化，将数据分布出去，并且处理出现的错误，为了解决这些问题，将本来很简单的运算变成了大量的复杂的代码。

针对这个复杂性，我们设计出了一个新的抽象，它允许我们描述我们本身想要进行的简单运算，但将杂乱的并行计算，容错，数据分布和负荷均衡的细节这些隐藏到了依赖的包里。我们的抽象是受到了 Lisp以及很多函数式语言里的 map 和 reduce 的启发。我们意识到了，大多数的运算都包含了针对我们的输入文件进行 map 运算，用来得出一组中间的键/值对，然后对所有共享一个键的值进行 reduce 运算，用来把生成的数据正确地合并起来。我们的函数式模型接受用户自定义的 map 和 reduce 运算，使得我们可以将大型的运算很轻松地并行化，并且可以将“重新运行”作为主要的容错机制。

此任务的主要贡献是一个简单并强大的接口，它能让大规模的计算自动有并行化，分布式的功能。我们还提供了这个接口的实现，它可以在大型商品计算机组成的集群上运行，并有很高的性能。

论文第二部分描述了基本的编程模型，并且给出了几个示例。第三部分描述了一个 MapReduce 接口的实现，它是针对我们基于集群计算环境打造的。第四部分描述了本编程模型的几种改动，我们觉得是很有用的。第五部分是我们针对各种任务实现的性能测量。第六部分讲了在谷歌里的 MapReduce 应用，包括了我们以它为基础来重写我们的在线上索引系统的经验。第七部分讨论了相关的和未来的工作。

2.编程模型