MR作业提交流程

最新推荐文章于 2025-06-17 10:18:39 发布
原创 最新推荐文章于 2025-06-17 10:18:39 发布 · 998 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MR作业

本文详细解析了Hadoop作业提交流程，从客户端发起请求开始，到ResourceManager调度作业，NodeManager执行任务，直至MRAppMaster监控整个计算过程。涵盖了作业提交、资源管理、任务分配与监控等关键环节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

客户端
到RM取号，作业编号
检验输入目录或文件是否存在
检验输出目录是否指定，并且不存在
计算切片信息

将配置文件/jar包/切片信息发送到HDFS以作业编号命名的目录中（HDFS目录）

向RM发送请求，提交作业
监控作业执行的进度，每秒发送一次请求，请求作业执行进度，如果进度有变，则
在控制台打印进度信息

HDFS
存储配置文件/jar包/切片信息

ResourceManager

调度NodeManager，让NM分配一个容器，运行MRAppMaster程序

RM会调度NodeManager分配容器，用于运行map任务或者reduce任务

NodeManager

分配容器，根据MRAppMaster的请求，运行指定的任务，map任务或者reduce任务
当任务运行结束，要通知MRAppMaster，MRAppMaster做后续的处理

MRAppMaster

负责计算的监控/失败重试/计算调度

收集HDFS上的配置文件/jar包/切片信息
分析出需要运行多少个Map任务，多少个reduce任务
向RM发送请求，让RM分配容器，运行map任务
当map任务完成5%之后，为reduce申请容器

MR作业提交全过程
AHincsdn的博客
08-09 2374
client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步). 当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(sch
图解：MR作业提交全过程
m0_57498038的博客
04-22 250
图解：MR作业提交全过程。 1）作业提交过程之YARN 2）作业提交过程之MapReduce 3）作业提交过程之读数据 4）作业提交过程之写数据
GitLab多人协作MR流程规范模版(merge)
最新发布
草亦花开的专栏
06-17 570
以下是一个适用于的 MR 流程规范模板，涵盖分支策略、MR 创建流程、冲突处理、审查要求和 CI/CD 设置。可以直接复制到团队 Wiki 或文档中使用。
客户端提交MR程序job的流程
Pan_Mars的博客
03-27 1521
这里是我自己总结的简单的描述：Configuration conf = new Configuration(); // conf.set("mapreduce.framework.name", "yarn"); // conf.set("yarn.resoucemanager.hostname", "hadoop"); Job job = Job.getInstance(conf);
hdfs 文件提交与mr作业提交流程分析
tyut小郑
08-21 1719
看了不少东西，想把他们总结出来，若有错误还望不吝赐教 在hdfs架构中可以吧Client认为是送货人，nn是仓库管理员，dn是一个个仓库。当客户端要送货（文件）的时候，进行如下步骤 1.送货员通过rpc通信告知仓库管理员（nn）说我这里有货物，请告诉我放在哪里啊 2.仓库管理员通过查询所维护的仓库信息查出哪个仓库有空余空间，将查询结构反馈给送货员 3.送货员将货物放入管理员所说的仓库即可
客户端向yarn提交MR作业流程简述
然然然星人的博客
01-04 4883
这里简述一下客户端向yarn提交MR作业是，yarn是如何进行调度，同时会有哪些进程(windos下为线程)协调工作。1、yarn简述yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而mapreduce等运算程序则相当于运行与操作系统之上的应用程序。yarn在hadoop2.x系列中被加入的资源管理器，取代hadoop1.x中的jobtracker，将资...
0916 MR作业提交流程 Yarn-HA WC代码 作业提交源码
ruanmianmian1的博客
09-16 608
1 作业提交流程 客户端提交MR作业 Yarn的资源管理器Resource Manager 协调集群计算资源的分配 Yarn的节点管理器 NodeManager 启动并监控集群中计算容器 MapReduce中的Application Master 协调MR作业中的任务运行 ApplicationMaster和MR运行在容器中，容器由resourceManager调度 由NodeManag...
YARN提交MR程序流程以及MR调优
qq_22796957的博客
07-10 2186
YARN提交MR程序流程 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23 Yarn基本架构 Yarn工作机制 1．Yarn运行机制，如图4-24所示。 图4-24 Yarn工作机制 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application...
Yarn工作机制与作业提交全解析：从MR到RM的流程详解
本文将深入解析YARN的工作机制以及作业提交流程。 在YARN架构中，主要包括以下几个关键组件： 1. **ResourceManager (RM)**: 是YARN的核心组件，负责总体资源管理和调度决策。当用户通过客户端（如Job Client）...
hadoop作业提交流程分析
hsh8819的专栏
04-07 332
       本篇博客将以WordCount为例从源码上分析hadoop作业提交流程，所使用的hadoop版本为cdh4.3.0。        hadoop作业提交流程如下图所示：   public static void distribute() throws Exception { /*指定Hadoop 环境的用户名称， 如果不指定会抛org.apache.hado...
浅谈MapReduce作业提交流程
s_pr1te的博客
04-11 334
YARN：解耦资源与计算 ResourceManager 主，核心 集群节点资源管理 NodeManager 与RM汇报资源 管理Container生命周期 计算框架中的角色都以Container表示 Container：【节点NM，CPU,MEM,I/O大小，启动命令】 默认NodeManager启动线程监控Container大小，超出申请资源额度，kill 支持Linux内核的Cgroup M...
MapReduce作业提交流程
huzuoliang
11-15 3437
Job Submission1.客户端调用job.submit方法提交作业，该方法内部创建一个JobSubmitter对象实例，该实例对象调用submitJobInternal方法提交作业。当作业成功提交后，客户端调用的waitForCompletion方法将一直询问作业的进度信息并打印。作业提交的内部处理过程： 首先通过RPC调用向 resource manager申请一个Application
git pr/mr 提交规范
我的博客
01-09 1万+
说在前面 我们希望每个 mr 尽量⽐较单⼀，不要涉及太多复合的内容。这样便于 review，必要时也便于回滚。 这⾥定义了 mr 提交时，title 和 message 的⼀个规范，如果可以的话，最好每个 commit 都遵循这个规范。 定义规范的好处是： 提供更多的信息，⽅便排查与回滚; 过滤关键字，迅速定位. mr title 的规范 形式化定义： <type>(<scope>): <subject> 其中，各个域的说明如下： type：⽤于说明这次 mr/
Yarn提交mr的流程和三种调用方案的理解
sijiwang95的博客
02-20 733
Yarn提交mr的流程和三种调用方案的理解
提交MR这个词儿您知道是什么意思吗？
liwenxiang629的博客
09-02 2559
作为测试的同学，是不是经常会听研发同学说提交MR呢？那么究竟什么是提交MR呢？在这篇文章中会告诉大家！ 在Git中，提交MR（Merge Request，合并请求）是在进行协作开发的一种常见方式，允许开发者向代码仓库的主分支提交自己的代码修改，并请求审核和合并。
面试中的那些 Git 问题 - 基础部分
weixin_33733810的博客
10-22 502
团队协作能力一直是我们招聘开发人员的重要考核指标之一。而考核这个能力的原因很简单：一般公司都不会只有一个开发…而一旦涉及多人协作开发，良好的协作能力和习惯能显著提高整个团队的开发效率。Time is money！ 说到协作，面试中当然就会聊到开发人员日常最需要协作的事情，代码协作。因为 Github 在国内的流行，很多公司都已经把代码托管到 Github 或者内部的 git 服务上，所以大家也慢慢...
MR 运行原理
热门推荐
qq_36864672的博客
11-17 1万+
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/- 0067011990999991950051507+0000+ 0043011990999991950051512+0022+
http协议之请求方式
Mr.louis
01-12 2473
一：八种http请求方式 1. GET 请求：获取资源 GET 方法 用来请求访问 已被URI识别的资源。指定的资源经过服务器解析后返回响应内容。 2.POST请求：传输实体主体 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 3. PUT: 传输文件 put方法用来传输文件，要求在报文的主体中包含文件...
mr向集群提交mr任务的两种方式
weixin_43797368的博客
08-12 2073
方式一：把IDEA中写好的程序打jar包然后托入集群中执行如下命令运行： Hadoop jar wc.jar 全类名 /输入路径 /输出路径 hadoop jar wc.jar com.atguigu.wordcount.WordCountDriver /user/atguigu/input /user/atguigu/output 方式二：在Windows上向集群提交任务 （1)需要在WordCountDriver添加一些配置信息 设置hdfs NameNode的地址： conf.set(“fs.def
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值