作者:禅与计算机程序设计艺术
1.简介
大数据处理主要依赖于Hadoop框架。而Hadoop框架则是一个由Java语言开发的分布式计算框架,具有海量的数据处理能力。HDFS(Hadoop Distributed File System)作为分布式存储系统,为Hadoop提供高吞吐量、高容错性、高可用性的存储服务;MapReduce为大数据处理提供了一种编程模型——分片-映射-归约。但是由于HDFS和MapReduce都是单线程模型,因此导致其不适用于大规模数据的并行计算场景。此外,为了更好地利用多核CPU资源,也需要提升Hadoop运行效率。因此,针对大数据处理场景下Hadoop的并发编程模型的需求,阿里巴巴集团自主研发了基于Hadoop MapReduce之上的并发编程模型——Yarn。本文将从MapReduce到Yarn再到Hadoop 的三代并发编程模型,分别进行分析与比较,阐述其中设计理念、实现方法、性能优化等方面的不同。
2. MapReduce模型及其局限性
2.1 MapReduce模型
MapReduce模型的理论基础是Map和Reduce两个算子,它们分别负责对输入数据进行映射和数据聚合,即将大数据转化为小数据。其工作流程如下图所示:
上图左边的“Map”运算符用于将输入的key-value对进行一一映射(mapping)成一组新的key-value对。例如,对文本中每个词汇计数时,可以先将每个词变换为对应的整数,然后在所有文档上执行相同的映射操作。
“Shuffle”过程负责将不同的key-value对按照