MapReduce之全流程讲解

最新推荐文章于 2024-09-16 22:54:38 发布

zhigang1007

最新推荐文章于 2024-09-16 22:54:38 发布

阅读量776

点赞数 3

文章标签： Hadoop Mapreduce 分布式计算分布式存储框架

本文链接：https://blog.youkuaiyun.com/zhigang1007/article/details/78376000

版权

本文详细介绍了MapReduce的工作流程，从数据在HDFS的输入开始，经过TextInputFormat和LineRecorderReader读取，Mapper处理，再到Shuffle阶段的Partitioner、Sort和Combiner，接着Reducer进行数据聚合，最后由LineRecorderWriter和TextOutputFormat写入HDFS。MapReduce的每个组件都有明确的职责，例如Mapper用于业务逻辑处理，Partitioner进行分区，Sort负责排序，Combiner减轻Reduce压力，Reducer根据key值输出。通过理解这些组件，可以更好地定制MapReduce程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

周末心情好，来理下整个MapReduce的工作流程，方便记忆和理解。

hadoop四大组件之一的MapReduce分布式计算系统，和HDFS-分布式存储系统，YARN-分布式操作系统（主要负责资源调度，相当于操作系统）三分天下，那么我们就将数据从HDFS输入到最后输出到HDFS来详细聊一聊Mapreduce的工作机制。

首先，上图。光说不上图都是耍流氓。数据的供给交给HDFS，资源的调配交给YARN，对数据进行鬼斧神工处理的部分就交给mapreduce了。mapreduce一般来说，可以细分为十大组件，分别为：TextInputFormat，LineRecorderReader, Mapper，shuffle（partition，sort，combiner），GroupComparator，Reducer，LineRecorderWriter，TextOutputFormat。首先我们对这是个组件做一个大概的解释：