Hadoop之MapReduce和Yarn内核源码解析

已于 2022-05-27 19:43:34 修改
阅读量1.1k 收藏 2
点赞数 2
文章标签： hadoop mapreduce big data
于 2022-05-27 19:40:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44468025/article/details/124984533
版权
本文详细剖析了Hadoop Job的提交流程，从客户端提交任务到Job切片，再到Yarn的资源调度，MapTask与ReduceTask的执行过程。深入理解Hadoop的内部工作机制，包括JobTracker如何切片，YARN如何管理任务，以及MapReduce任务的执行流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：此文章从客户端提交job任务开始，到对需要处理的数据进行切片，产生对应的maptask任务，Yarn来管理任务的调度来执行maptask和reducetask（包括shuffle）进行了详细的代码分析。

一、hadoop的Job 提交流程源码

流程图：
在这里插入图片描述

1.从我们编写的mapreduce的代码中进入job提交源码
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
支线一：进入connect();
在这里插入图片描述
在这里插入图片描述
2.支线二：进入submitter.submitJobInternal(Job.this, cluster)，向集群提交了job信息，这里是提交job任务的核心代码
在这里插入图片描述

在这里插入图片描述
该方法（submitter.submitJobInternal(Job.this, cluster)）往下翻：
在这里插入图片描述

存入了切片信息的本地路径
在这里插入图片描述
submitter.submitJobInternal(Job.this, cluster)方法继续往下走
在这里插入图片描述
在这里插入图片描述
该方法继续往下看：将job的任务创建的Application的appContext上下文信息发送到Yarn的ResourseManager
在这里插入图片描述

最低0.47元/天 解锁文章
Hadoop核心组件之Yarn、Mapreduce（一）
qq_41547580的博客
01-05 584
什么是Yarn？ 一、概念 是Hadoop生态的资源管理系统。YARN的职责主要是资源管理和Job调度管理。 二、yarn的各个成员及职责 yarn的主要成员有：ResouceManager、NodeManager、ApplicationMaster、Container。 1.ResouceManager职责： 1）处理客户端请求 2）启动或监控ApplicationMaster 3）监控...
基于docker技术搭建Hadoop与MapReduce分布式环境
Dragon_qing的博客
04-25 4159
基于docker技术搭建Hadoop与MapReduce分布式环境安装docker宿主环境确认整备安装环境安装docker测试docker是否能够正常抓取镜像和运行基于docker技术搭建hadoop与map reduce整备容器环境配置ssh服务器安装JDK 8保存镜像安装hadoop为hadoop指定jdk位置hadoop联机配置MapReduce配置服务启动权限配置启动hadoop，并进行网络配置启动hadoop运行MapReduce自带的示例程序注意让Name Node退出安全模式如何批量删除已经退
Hadoop之MapReduce编程实例完整源码
08-01
一个自己写的Hadoop MapReduce实例源码，网上看到不少网友在学习MapReduce编程，但是除了wordcount范例外实例比较少，故上传自己的一个。包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作步骤。学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。后续学习还可以参看本人的优快云博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖而已，也可能力不能及，有些难的也很有可能不懂。希望能够帮助到学习MapReduce的朋友，另外稍微意思下，收取辛苦分1分啊，如果没有积分的就到本人博客下地址，看到后再发到朋友你的邮箱。
Hadoop生态圈（四十二）- YARN核心源码分析
程序园@大Null
02-14 2544
目录前言1. YARN应用运行流程2. 第一阶段：Client提交应用至YARN2.1 第一步：JobSubmitter（Job 提交）2.2 第二步：createApplicationSubmissionContext（创建应用上下文）2.3 第三步：RMAppManager#submitApplication（提交应用）2.4 作业提交调用层次3. 第二阶段：YARN启动AppMaster3.1 第一步：AppMaster 初始化3.2 第二步：AppMaster启动4. 第三阶段：调度执行应用进程4
hadoop源码分析之MapReduce(一)
coderplay的专栏
12-16 174
      hadoop的源码已经粗看过一遍,但每次想要了解细节的时候,还得去翻代码. 看了又是忘记. 所以我决定这些天把其中的重要的细节记下来。 声明： 1. 本文假设读者已经掌握一些MapReduce的基本概念,曾经编写过MapReduce程序。 2. 此源代码分析是基于hadoop svn的trunk之上(目前0.20.0-dev),由于hadoop正在换新的MapReduce api(or...
【转载】Yarn 源码解析
半日闲的博客
07-27 1267
Hadoop源码解析之ApplicationMaster启动流程 YARN ApplicationMaster与ResourceManager之间基于applicationmaster_protocol.proto协议的allocate()接口源码解析 Hadoop 基于protobuf 的RPC的客户端实现原理 Hadoop 基于protobuf 的RPC的服务器端实现原理...
Hadoop之Yarn源码解析（四）
prefect_start的博客
12-19 1368
5、Yarn源码解析 工作机制 源码解析启动流程 5.1、 Yarn客户端向RM提交作业 1）在wordcount程序的驱动类中点击 Job.java boolean result = job.waitForCompletion(true); public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException,
Hadoop技术内幕：YARN架构深度解析
"深入解析YARN架构设计与实现原理，由董西成著，属于大数据技术丛书中的一本，详细介绍了YARN在Hadoop2.0版本中的应用和设计原理。" YARN，全称为Yet Another Resource Negotiator，是Hadoop生态系统中的一个核心...
3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析、调优、Hadoop二次开发
weixin_47134119的博客
01-27 1740
3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析 文章目录3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析七、YARN资源调度7.1 Yarn架构7.2 Yarn任务提交(工作机制)7.3 Yarn调度策略7.4Yarn多租户资源隔离配置八、Apache Hadoop 核心源码剖析8.1 源码阅读准备8.2 NameNode 启动流程 七、YARN资源调度 7.1 Yarn架构 ResourceManager(rm)：处理客户端请求、启动/监控Ap
【Hadoop篇】YARN源码分析（一）
zxz1580977728的博客
07-28 641
0、总结 1.hadoop其实是一个脚本 2.该脚本调用RunJar调用HadoopWordCount.jar的main函数（脚本里面可能设置好了依赖库） 3.调用job.waitForCompletion(true)提交 4.YARNRunner设置MRAppMaster为ApplicationMaster 5.JobSubmitter调用JobResourceUploader将HadoopWordCount.jar上传到hdfs 6.JobSubmitter通过InputFormat算出需要的MapTa
Yarn框架代码详细分析
02-12
从架构、设计模式和代码对Yarn进行的详细剖析和原理机制的分析
Hadoop源代码分析（包mapreduce.lib.map）
07-09
包mapreduce.lib.map的Hadoop源代码分析
Hadoop Yarn 3.1.0 源码分析 （02 作业调度）
weixin_35792948的博客
07-18 1807
在上一节中，我们详细分析了作业是如何上岸的，现在作业 已经到达了RM端，并且交给了 RMAppManager进行继续运转，我们继续跟踪作业是如何在YARN中如何运转。 Server端： ApplicationClientProtocolPBSeriveImpl.submitApplication() -> C
Hadoop3.2.x YARN源码分析目录汇总 [持续更新中....]
张伯毅的专栏
12-28 2238
Hadoop3.2.x YARN源码分析目录汇总如下: Hadoop3.2.1 【 YARN 】源码分析 : RPC通讯解析 Hadoop3.2.1 【 YARN 】源码分析 : ResourceManager 浅析 Hadoop3.2.1 【 YARN 】源码分析 : ClientRMService 浅析 Hadoop3.2.1 【 YARN 】源码分析 : AdminService 浅析 Hadoop3.2.1 【 YARN 】源码分析 : ApplicationMaster 浅析 Hadoop3.2
yarn源码解析
06-24 3144
目录yarn流程AM（appmaster）的工作机制调度器mr on yarn yarn流程 Client向RM发出请求 RM返回一个ApplicationID作为回应 Client向RM回应Application Submission Context（ASC）。ASC包括ApplicationID、user、queue，以及其他一些启动AM相关的信息，除此之外，还有一个Container Launch Context（CLC），CLC包含了资源请求数（内存与CPU），job files，安全token，
Hadoop_YARN资源管理系统源码解析
走自己的路
10-24 2522
目录 一、YARN产生的背景(MRv1的局限性) 二、YARN源代码结构 三、YARN基本架构 四、YARN各模块详细分析 五、MRAppMaster-MapReduce On YARN实现 六、YarnChild-MR引擎启动入口 七、总结   一、YARN产生的背景(MRv1的局限性) YARN 是在 MRv1 基础上演化而来的，它克服了 MRv1 中的各种局限性。在正式介...
【Hadoop篇】YARN源码分析（三）
zxz1580977728的博客
07-28 330
0、回顾【Hadoop篇】YARN源码分析（二） NodeManager启动了YarnChild 1、YarnChild分析 1.YarnChild执行提交的MapTask或ReduceTask 2.TaskUmbilicalProtocol将MapTask和ReduceTask处理结果反馈给MRAppMaster class YarnChild { public static void main(String[] args) throws Throwable { final Job
Hadoop Map-Reduce源码分析（Map）
qq_32193775的博客
02-27 303
Hadoop Map-Reduce源码分析（Map） Mapper 注本文前提条件，您已知道Map的逻辑和其具体的细分步骤 以WordCount代码为例子 public class MyMapperMap extends Mapper<Object, Text, Text, IntWritable> public class MyMapperReduce extends Reducer<Text, IntWritable, Text, IntWritable> 我们自己写的
HadoopMapReduce源码解析
走自己的路
10-11 917
Hadoop是一个大数据处理平台，目前在大数据领域应用也非常广泛，刚好最近我们BI组在进行把底层数据仓库迁移到Hadoop平台并且当前BI的数据平台已经深度依赖Hadoop平台，所以在工作之余开始去深入了解下Hadoop内部实现以更好地应用它，在遇到问题的时候有更好的解决思路。本文详细介绍了Hadoop领域中分布式离线计算框架MapReduce的原理及源码分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值