什么是MapReduce？

最新推荐文章于 2025-06-16 12:17:56 发布

刘德志doubleKill

最新推荐文章于 2025-06-16 12:17:56 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：老文章

本文链接：https://blog.youkuaiyun.com/liu904139492/article/details/44158249

老文章专栏收录该内容

53 篇文章

订阅专栏

MapReduce是一种编程模型，主要用于大规模数据集（大于1TB）的并行运算。它简化了分布式编程过程，允许程序员在不了解分布式编程细节的情况下，将程序部署在分布式系统上。MapReduce通过映射(Map)和化简(Reduce)两个步骤处理数据，首先由Map函数将输入键值对转换为新的键值对，然后Reduce函数处理相同Key下所有Value并输出最终结果。

MapReduce：MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。映射(Map)，化简(Reduce)的概念和它们的主要思想都是从函数式编程语言中借鉴而来的。它极大地方便了编程人员-----即使在不了解分布式并行编程的情况下，也可以将自己的程序运行在分布式系统上。MapReduce在执行时先指定一个Map(映射)函数，把输入键值对映射成一组新的键值对，经过一定处理后交给Reduce，Reduce对相同key下的所有value进行处理后在输出键值对作为最终的结果。