mapreduce源码结构以及主要过程源码

最新推荐文章于 2021-05-19 23:50:03 发布

moxuqiang_dm

最新推荐文章于 2021-05-19 23:50:03 发布

阅读量800

点赞数 1

分类专栏： hadoop 文章标签： mapreduce 结构源码 shuffle combine

本文链接：https://blog.youkuaiyun.com/moxuqiang_dm/article/details/48471405

版权

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了MapReduce任务的启动过程，从job-client提交作业到resourceManager，再到mr appMaster和task的执行。文章还探讨了MapReduce任务的各个阶段，包括map任务的四个阶段和reduce任务的三个阶段。最后，揭示了MapReduce的代码结构，重点提到了MRAppMaster和YarnChild作为mr appMaster和mr task的入口类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

了解mapreduce任务启动过程

想了解mapruduce的源码结构，首先了解yarn的基本结构以及一下mr任务启动的过程，看下图：
这里写图片描述

可以看到整个过程通过job-client来向resourceManager提交作业，然后resourceManager在集群中某台机子启动mr appMaster,再由mr appMaster去启动task，并管理task;为了更方便地管理集群硬件资源，mr appMaster以及各个mr task都是通过了子进程来执行任务的，概括地讲，过程如下：
job-client->resourceManager->mr appMaster process-> nodeManager->task process

再看看mapreduce任务的整个过程：
这里写图片描述

一个map任务包括四个阶段，一个reduce任务包括三个阶段，其中map和reduce过程是由我们自定义逻辑过程的，其他过程都是固定的过程；

mapreduce模块

了解上面的过程，按照软件模块组织的过程，我想大家也大概了解其代码结构，以及依赖关系
这里写图片描述
其中
hadoop-mapreduce-client-jobclient是用于生成jobclient
hadoop-mapreduce-client-app是用于生成mr appMaster
hadoop-mapreduce-client-core是用于生成mr task；
下面说的是mr appMaster以及mr task的sub process的入口类以及mr task的整合处：
mr appMaster : org.apache.hadoop.mapreduce.v2.app.MRAppMaster
mr task : org.apache.hadoop.mapred.YarnChild
map task : org.apache.hadoop.mapred.MapTask
reduce task : org.apache.hadoop.mapred.ReduceTask