MapReduce的运行流程

最新推荐文章于 2025-01-09 14:41:16 发布

chengqiuming

最新推荐文章于 2025-01-09 14:41:16 发布

阅读量523

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/chengqiuming/article/details/78602241

本文介绍了Hadoop MapReduce的基本概念、体系结构及工作原理。重点讲述了JobTracker负责的任务调度、TaskTracker的角色以及MapReduce作业执行流程，并概述了其容错机制。

  一 基本概念
 

  1、job & Task
 

  2、jobTracker
 

  3、TaskTracker
 

  二 Hadoop MapReduce体系结构
 

  三 JobTracker的角色
 

  1、作业调度
 

  2、分配任务、监控任务执行进度
 

  3、监控TaskTrack的状态
 

  四 TaskTracker的角色
 

  1、执行任务
 

  2、汇报任务状态
 

  五 MapReduce作业执行流程
 

  六 MapReduce容错机制
 

  1、重复执行，默认4次。
 

  2、推测执行，如果一个非常慢，再启动一个TaskTracker，谁先算完，就把另外一个终止。
 

大小: 98 KB

大小: 141.2 KB

大小: 113.2 KB

查看图片附件

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chengqiuming

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

MapReduce的执行流程

孤落

12-27

1万+

一个MapReduce的作业执行流程是：1）代码编写；2）作业配置；3）作业提交；4）Map任务的分配和执行；4）处理中间结果；5）Reduce任务的分配与执行；6）作业完成。具体如图1-1所示。下面以一个简单的单词计数例子对各个步骤做一个详细的介绍。 1代码编写及配置代码编写及配置主要是在客户端进行。1）代码编写主要是编写我们需要的map函数和Reduce函数。map函数代码如下：@Overri

MapReduce程序运行过程

woshiermingerming的博客

10-31

1323

MapReduce程序运行过程　　1. 作业运行过程：首先向JobTracker请求一个新的作业ID；然后检查输出说明（如输出目录已存在）、输出划分（如输入路径不存在）；JobTracker配置好所有需要的资源，然后把作业放入到一个内部的队列中，并对其进行初始化，初始化包括创建一个代表该正在运行的作业对象（封装任务和记录信息），以便跟踪任务的状态和进程；作业调度器获取分片信息，每个分片创建一个

参与评论您还未登录，请先登录后发表或查看评论

MapReduce执行流程

m0_51388399的博客

03-20

4618

Read：读取阶段MapTask会调用InputFormat中的getSplits方法来对文件进行切片切片之后，针对每一个Split，产生一个流用于读取数据数据是以Key-Value形式来产生，交给map方法来处理。每一个键值对触发调用一次map方法Map：映射阶段map方法在获取到键值对之后，按照要求对键值对中的数据进行拆分解析，解析之后按照要求输出键值对形式的结果Collect：收集阶段MapTask拆分产生数据之后，并不是直接将数据传输给ReduceTask，而是会调用。

MapReduce 的运行流程

博客

12-18

456

1、运行流程由上图可以看到MapReduce 执行下来主要包含这样几个步骤：首先对输入数据源进行切片 2)master 调度 worker 执行 map 任务 3)worker 读取输入源片段 4)worker 执行 map 任务，将任务输出保存在本地 5)master 调度 worker 执行 reduce 任务，reduce worker 读取 map 任务的输出文件 6)执行 red...

mapreduce程序的运行流程

coolerzZ的博客

09-24

379

看了很多博客，个人感觉唯有这篇博客对小白来说讲的最清楚，特记录于下：原博客地址：点我（1）一个 mr 程序启动的时候，最先启动的是 MRAppMaster， MRAppMaster 启动后根据本次job 的描述信息，计算出需要的 maptask 实例数量，然后向集群申请机器启动相应数量的maptask 进程（2） maptask 进程启动之后，根据给定的数据切片(哪个文件的哪个偏移量范围)范围进行数据处理，主体流程为： A、利用客户指定的 inputformat 来获取 Record...

MapReduce执行流程和Shuffle过程

01-07

本节将对 Hadoop MapReduce 的工作机制进行介绍，主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解，可以使程序开发者更合理地使用 MapReduce 解决实际问题。 ...

MapReduce作业运行流程

01-07

基本概念 MapReduce采用了Master/Slave架构，包括一个Master...作业运行流程 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、

MapReduce 整体的工作流程和原理介绍

weixin_44480009的博客

05-05

3363

一、MR 的整体工作流程 MapTask 阶段 Shuffle 阶段 ReduceTask 阶段二、MapTask 阶段 1. 工作机制 Read 阶段：客户端根据待处理的数据进行接片，然后向 Yarn 提交作业信息申请对应数量的 MapTask；MapTask 启动后通过 InputFormat 获得的 RecordReader，从输入 InputSplit 中解析出一个个的 key/value 读取到 Mapper 程序。 Map 阶段：将解析出的 key/value 交给用户编写的 ma

MapReduce运行流程

wx13269317296的博客

12-29

970

以wordcount为例，运行的详细流程图 1.split阶段首先mapreduce会根据要运行的大文件来进行split，每个输入分片(input split)针对一个map任务，输入分片(input split)存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组。输入分片(input split)往往和HDFS的block(块)关系很密切，假如我们设定HDFS的块的大小是64MB，...

MapReduce运行全流程

BDLng的博客

12-19

1032

MapReduce运行全流程： Nodemanager从Resourcemanager那里拿到Task之后，就启动一个规定cpu、内存的container用来运行MapTask。那么MapTask就开始工作了，MapTask通过Inputformat组件，从任务所指定路径(如:HDFS)上开始读取数据。需注意的是，他一次只读一行，读完一行调一次用户写的Map方法，数据格式为，其中K为起

MapReduce程序运行流程分析总结

晓风岚月

01-24

555

1）在MapReduce程序读取文件的输入目录上存放相应的文件。 2）客户端程序在submit()方法执行前，获取待处理的数据信息，然后根据集群中参数的配置形成一个任务分配规划。 3）客户端提交job.split、jar包、job.xml等文件给yarn，yarn中的resourcemanager启动MRAppMaster。 4）MRAppMaster启动后根据本次job的描述信息，计算...

MapReduce的运行流程概述

Sun's Blog

07-11

440

MapReduce处理数据的大致流程 ①InputFormat调用RecordReader，从输入目录的文件中，读取一组数据，封装为keyin-valuein对象 ②将封装好的key-value，交给Mapper.map()------>将处理的结果写出 keyout-valueout ③ReduceTask启动Reducer，使用Reducer.reduce()处理Mapper的keyout-valueout ④OutPutFormat调用RecordWriter，将Reducer处理后的keyou

【MapReduce】执行流程总结

qq_42176514的博客

11-29

1907

MapReduce的执行流程 MapReduce一共可以分为两个阶段 Map阶段和Reduce阶段、但是有一部分也可以划分为三个阶段（Map、Shuffle、Reduce） Map和Reduce阶段分属两台不同的主机，两者之间通过网络通信。整个的执行流程可以如下图所示一、Map阶段 Map负责分 1-1 MapTask阶段读取HDFS上的文件，根据逻辑切片（这里的逻辑切片不是HDFS上面的BLOCK，而是MapReduce自己定制的切片）来启动线程(MapTask)，.

MapReduce工作流程

highmiao的博客

08-12

289

一、Client 1、根据用户配置的 split.min 和 split.max ，还有文件的 BlockSize 确定最终的 split 分片大小。 2、输出执行文件清单格式：清单格式 file order offset size locations file1 1 0 4 1 3 9 2 4 4...

4-2MapReduce的运行流程

Drug discovery

06-07

5452

MapReduce的容错机制 ①重复执行（重新尝试） ②推测执行：保证不会因为某个TaskTracker故障从而导致整个任务运行过慢

Mapreduce执行过程详解

ximen_zhou的博客

05-31

4141

一、分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：二、Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中的文件，...

MapReduce完整工作流程