MR执行流程

最新推荐文章于 2024-02-08 23:10:05 发布
转载 最新推荐文章于 2024-02-08 23:10:05 发布 · 2.6k 阅读 · 2

MR执行流程


(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)
(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息，不是jar, 包括jobid，jar存放的位置，配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件，开始计算输入分片，每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务（任务的描述信息）
(8).下载所需的jar，配置文件等
(9).TaskTracker启动一个java child子进程，用来执行具体的任务（MapperTask或ReducerTask）
(10).将结果写入到HDFS当中
mapreduce-MR执行流程（IO）
Brucexyao的博客
06-22 2005
MapReduce——MR的执行流程（五次IO） 一个完整的mapreduce程序在分布式运行时有三类实例进程： MRAppMaster：负责整个程序的过程调度及状态协调 mapTask：负责map阶段的整个数据处理流程 （maptask的数量是不能设置的，reducetask可以自己设置job.setNumReduceTasks(5);） ReduceTask：负责reduce阶段的整个数据处理流程 对于MR的执行流程，我是通过其过程中的五次IO来记忆的，详细解释如下(最后有流程详图)：
MR流程总结
ZJ_2459的博客
02-26 2270
maptask的数量由客户机的切片信息决定的 一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段： 1、map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段 (1)、在read阶段，maptask会调用用户自定义的RecordReader方法，在splitInput中解析出一个个的key-val...
大数据之MapReduce（MR）
wslzoooo的博客
02-08 1067
MapReduce是一个分布式计算框架。思想：将复杂问题分解成若干规模较小的部分，对每个部分进行逐个解决，再将每部分的结果进行合并得到最终结果。
06 MR执行流程和原理
lovetg0419的博客
12-20 1738
一、MR执行流程和原理图 1.1、执行流程和原理图 mapTask的并行机制 mapTask在运行的时候，开启多个map由谁来决定？ 默认情况：mapTask 的数量和读取 HDFS 中的数据块 block 的数量相等 block块：HDFS 中文件各个小数据块（默认 128m ）（物理划分） FileSplit： 在MapReduce 读取每一个块称为 fileSplit（文件切片）（逻辑划分） block 的数量 和 文件分片的数量一样，大小也是一...
Hadoop之MR运行流程
小梁
01-01 1914
1.MR运行原理图： 2.MapTask的详细流程: 1.提交相应的信息到mr appmaster (1)都回提交哪些信息？ split.xml 配置信息 jar包 切片信息.mrappmaster根据切片信息开启对应数量的maptask (2) 切片信息怎么得到？ List<InputSplit> splits = input.getSplits(job) getSplit...
MR工作原理
stable_zl的博客
10-07 1547
本文介绍了MapReduce任务在yarn上的是怎么运行起来的，以及mr shuffle流程和MR的推测执行机制
MR程序在YARN上的执行流程
weixin_47681855的博客
09-30 573
执行流程: job.waitForCpmpletion将Job任务提交到APPsMaster apps返回一个jobID和临时工作目录 在HDFS中做初始化工作 加载xml文件--->configuration 上传jar包(Mapper类 Reducer类) Reducer的个数 根据输入路径 计算任务切片(根据目标路径中文件的个数和文件的大小计算任务切片的大小) 1)先查看文件的个数 2)根据文件的大小 Fil...
YARN基础+Yarn组件+Yarn架构和工作流程+Yarn三种调度器+MR流程+zookeeper
qq_43476430的博客
03-25 4690
一、YARN是什么 YARN负责Hadoop中得资源管理（包括cpu、内存、磁盘、网络IO等），以及调度运行在yarn上的任务。 二、YARN主要组件说明 YARN的主要组件：ResourceManager、NodeManager、ApplicationMaster和Container （1）ResourceManager（RM） 主要负责处理客户端请求对各NM上的资源进行统一调度和管理，给ApplicationMaster分配空闲的Container 运行并监控其运行状态。 主要由两个组件构.
Mapreduce(二)：MR的执行过程分析
王帆的专栏
09-16 1140
1.MR的作业执行流程图                 (1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...) (2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId (3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
Hadoop学习笔记(MR的执行流程,Yarn的调度流程)
m0_54919990的博客
11-17 459
关于hadoop中MR的具体执行流程以及Yarn的完整调度流程（包含图解）！！
以wordcount为例详细描述mr执行过程
qichangjian的博客
03-07 1457
总结： MR程序的执行过程主要分为三步：Map阶段、Shuffle阶段、Reduce阶段，如上图 Map阶段: 分片（Split）：map阶段的输入通常是HDFS上文件，在运行Mapper前，FileInputFormat会将输入文件分割成多个split ——1个split至少包含1个HDFS的Block（默认为128M）；然后每一个分片运行一个map进行处理。 执行（Map）：对输入分片中的每...
Job的任务执行流程之Reduce阶段
xhh198781的专栏
03-30 5678
JobTracker节点在给每一个TaskTracker节点分配作业的Map/Reduce任务时，可能会根据该TaskTracker节点的实际情况分配多个Map任务，但确顶多只分配一个Reduce任务，尽管此时该TaskTracker节点还有多的Reduce Slot(也就是说TaskTracker节点每一个任务分配请求最多会得到一个Reduce类型的任务)。当然，只有当一个作业的Map任务成功完
MR工作流程
weixin_56648524的博客
08-15 815
9）MRAppMaster分配在那些NM上运行map（即yarnchild进程），reduce任务。1）执行hadoop jar命令之后，生成RunJar进程，客户端向RM申请一个job。10）运行map和reduce任务的NM，向资源共享文件系统获取job相关资源。12）job任务结束后，MRAppmaster向RM注销自己，然RM回收资源。3）客户端提交相关资源（jar，xml）到共享文件系统（HDFS）2）RM向客户端发送job资源的提交路径，生成jobID。11）运行map，reduce任务。...
hadoop笔记1-MR执行过程
Johnmay--Blog
11-26 702
MR执行过程包括Map、Shuffler、Reduce，其中Map、Reduce及Shuffler中的分区、合并、排序是可以允许程序员编程参与的。 1、Map阶段。 split-----map----partition sort and spill to disk------combine。 1）split的目的是应一个原始文件分成多个文件，分别交由不同的map节点处理，文件块大小由bl
MapReduce原理1
weixin_34209406的博客
04-28 213
Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1 为什么要MAPREDUCE （1）海量数据在单机上处理因为硬件资源限制，无法胜任 （2）而一旦将单机版程序扩展到集群来分布式运行，将极大...
MapReduce(MR)的整体执行流程: (Yarn 模式)
qq_60410574的博客
12-01 4331
MapReduce(MR)的整体执行流程: (Yarn 模式)
mr 过程
qq_38250124的博客
03-31 536
默认TextInputFormat 》 fileinputformat》inputformat map partitioner compare reduce outputformat mr 之间总称为shuffle```` RecordReader 是 inputformat中的成员变量 中有方法read() 返回一个kv对 自定义mapper之后 到outputCollector然后...
MR执行流程详解
qq_31461055的博客
10-22 2700
1 MR 切片机制 &amp; MR全流程 https://blog.youkuaiyun.com/javastart/article/details/52903124 2 MR执行流程详解 https://blog.youkuaiyun.com/Milkcoffeezhu/article/details/80551586 3 MR 切片逻辑 https://blog.youkuaiyun.com/qq_38250124/...
简述一下mr执行流程
最新发布
08-12
MapReduce任务的执行流程是一个高度分布式的计算过程，通常分为Map阶段、Shuffle阶段和Reduce阶段。整个流程由Hadoop框架自动管理，并且在大规模数据处理中展现出良好的可扩展性和容错性。以下是对整个执行流程的概述： ### Map阶段 1. **输入分片（Input Split）**：在作业提交时，Hadoop会将输入数据划分为多个逻辑分片（Input Split），每个分片将由一个Map任务进行处理。Input Split并不实际存储数据，而是记录数据的起始位置和长度，用于指导后续的读取操作。 2. **RecordReader读取数据**：每个Map任务通过`RecordReader`从Input Split中逐条读取键值对形式的数据。例如，在处理文本文件时，输入数据通常以`<行偏移量, 行内容>`的形式被读取。 3. **执行Map函数**：Map任务将读取到的数据传递给用户定义的`map()`函数进行处理。该函数会生成中间键值对（Intermediate Key-Value Pairs），这些中间结果将被写入到内存中的缓冲区。 4. **Map输出缓冲与溢写**：Map输出的中间结果首先被写入内存缓冲区（通常为100MB大小），当缓冲区达到阈值（默认80%）时，会触发溢写（Spill）操作，将数据写入磁盘。在溢写过程中，MapReduce框架会对Key进行排序，并根据用户指定的Partitioner进行分区。如果中间结果较大，可能会生成多个溢写文件。在Map任务结束时，所有溢写文件会被合并成一个最终的输出文件，以减少Reduce阶段的I/O开销[^5]。 ### Shuffle阶段 Shuffle是MapReduce框架中最复杂和关键的部分，它负责将Map任务的输出正确地分发给Reduce任务。 1. **分区（Partition）**：Map任务的输出结果会根据Key的哈希值或其他分区策略被划分到不同的分区中，每个分区对应一个Reduce任务。 2. **排序与合并**：在Shuffle阶段，Map输出的中间结果会根据Key进行排序，并且可以进行可选的Combiner操作，以减少传输到Reduce端的数据量。 3. **数据传输**：Reduce任务会从各个Map任务所在的节点上拉取（Pull）属于自己的分区数据。Hadoop会使用HTTP协议进行数据传输，确保跨节点的数据获取效率。 4. **归并排序**：Reduce任务在接收到所有Map任务的输出后，会将这些数据进行归并排序，形成一个统一的Key-Value对列表，供后续的Reduce处理使用。 ### Reduce阶段 1. **执行Reduce函数**：Reduce任务会针对每个唯一的Key及其对应的Value列表调用用户定义的`reduce()`方法，进行聚合、统计等操作。最终的输出结果将以键值对的形式生成。 2. **输出到外部存储**：Reduce任务将处理后的结果通过`OutputFormat`写入到外部存储系统中，如HDFS。输出的格式可以根据用户需求进行自定义，比如文本文件、SequenceFile等。 在整个执行过程中，Application Master（AM）负责协调Map和Reduce任务的调度与执行，它与ResourceManager和NodeManager协作，确保任务在合适的容器中运行[^2]。同时，每个任务的执行进度和状态都会被定期更新，以支持容错机制和任务监控。 ### 错误处理与容错机制 MapReduce框架具备完善的错误处理机制。如果某个任务执行失败，Application Master会重新调度该任务到其他节点上执行。默认情况下，每个任务最多会被尝试执行4次，若仍失败，则整个作业会被标记为失败。此外，Map任务的输出在写入磁盘时会进行校验，以确保数据的完整性。 ### 示例代码：WordCount的Map和Reduce实现 以下是一个简单的WordCount示例，展示了Map和Reduce函数的基本实现： ```java // Mapper类 public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split("\\s+"); for (String w : words) { word.set(w); context.write(word, one); } } } // Reducer类 public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } ``` 在该示例中，Mapper将输入的文本按空格拆分为单词，并为每个单词输出`<word, 1>`的键值对；Reducer则对每个单词的计数进行累加，输出最终的词频统计结果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值