MR执行流程

最新推荐文章于 2024-02-08 23:10:05 发布
转载 最新推荐文章于 2024-02-08 23:10:05 发布 · 2.6k 阅读 · 2

MR执行流程


(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)
(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息，不是jar, 包括jobid，jar存放的位置，配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件，开始计算输入分片，每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务（任务的描述信息）
(8).下载所需的jar，配置文件等
(9).TaskTracker启动一个java child子进程，用来执行具体的任务（MapperTask或ReducerTask）
(10).将结果写入到HDFS当中
mapreduce-MR执行流程（IO）
Brucexyao的博客
06-22 1982
MapReduce——MR的执行流程（五次IO） 一个完整的mapreduce程序在分布式运行时有三类实例进程： MRAppMaster：负责整个程序的过程调度及状态协调 mapTask：负责map阶段的整个数据处理流程 （maptask的数量是不能设置的，reducetask可以自己设置job.setNumReduceTasks(5);） ReduceTask：负责reduce阶段的整个数据处理流程 对于MR的执行流程，我是通过其过程中的五次IO来记忆的，详细解释如下(最后有流程详图)：
Hadoop之MR运行流程
小梁
01-01 1873
1.MR运行原理图： 2.MapTask的详细流程: 1.提交相应的信息到mr appmaster (1)都回提交哪些信息？ split.xml 配置信息 jar包 切片信息.mrappmaster根据切片信息开启对应数量的maptask (2) 切片信息怎么得到？ List<InputSplit> splits = input.getSplits(job) getSplit...
06 MR执行流程和原理
lovetg0419的博客
12-20 1711
一、MR执行流程和原理图 1.1、执行流程和原理图 mapTask的并行机制 mapTask在运行的时候，开启多个map由谁来决定？ 默认情况：mapTask 的数量和读取 HDFS 中的数据块 block 的数量相等 block块：HDFS 中文件各个小数据块（默认 128m ）（物理划分） FileSplit： 在MapReduce 读取每一个块称为 fileSplit（文件切片）（逻辑划分） block 的数量 和 文件分片的数量一样，大小也是一...
Mapreduce(二)：MR的执行过程分析
王帆的专栏
09-16 1123
1.MR的作业执行流程图                 (1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...) (2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId (3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
Hadoop学习笔记(MR的执行流程,Yarn的调度流程)
m0_54919990的博客
11-17 425
关于hadoop中MR的具体执行流程以及Yarn的完整调度流程（包含图解）！！
以wordcount为例详细描述mr执行过程
qichangjian的博客
03-07 1437
总结： MR程序的执行过程主要分为三步：Map阶段、Shuffle阶段、Reduce阶段，如上图 Map阶段: 分片（Split）：map阶段的输入通常是HDFS上文件，在运行Mapper前，FileInputFormat会将输入文件分割成多个split ——1个split至少包含1个HDFS的Block（默认为128M）；然后每一个分片运行一个map进行处理。 执行（Map）：对输入分片中的每...
大数据之MapReduce（MR）
wslzoooo的博客
02-08 995
MapReduce是一个分布式计算框架。思想：将复杂问题分解成若干规模较小的部分，对每个部分进行逐个解决，再将每部分的结果进行合并得到最终结果。
MR程序在YARN上的执行流程
weixin_47681855的博客
09-30 560
执行流程: job.waitForCpmpletion将Job任务提交到APPsMaster apps返回一个jobID和临时工作目录 在HDFS中做初始化工作 加载xml文件--->configuration 上传jar包(Mapper类 Reducer类) Reducer的个数 根据输入路径 计算任务切片(根据目标路径中文件的个数和文件的大小计算任务切片的大小) 1)先查看文件的个数 2)根据文件的大小 Fil...
MR过程和Shuffle详解
weixin_44824330的博客
10-11 1921
一 MR 过程 MR框架是使用InputFormat为map所需的数据进行预处理，并为其提供数据。两个功能：切片，封装keyvalue 因为InputSplit为逻辑切分而非物理拆分，所以说还需要RecoderReader根据InputSplit中的信息里处理InputSplit中的具体信息，加载数据并转换为合适的Map任务的keyvalue，输入给Map任务 Map是自定义的逻辑，根据In...
YARN提交MR程序流程以及MR调优
qq_22796957的博客
07-10 2193
YARN提交MR程序流程 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23 Yarn基本架构 Yarn工作机制 1．Yarn运行机制，如图4-24所示。 图4-24 Yarn工作机制 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application...
Job的任务执行流程之Reduce阶段
xhh198781的专栏
03-30 5664
JobTracker节点在给每一个TaskTracker节点分配作业的Map/Reduce任务时，可能会根据该TaskTracker节点的实际情况分配多个Map任务，但确顶多只分配一个Reduce任务，尽管此时该TaskTracker节点还有多的Reduce Slot(也就是说TaskTracker节点每一个任务分配请求最多会得到一个Reduce类型的任务)。当然，只有当一个作业的Map任务成功完
MR工作流程
weixin_56648524的博客
08-15 795
9）MRAppMaster分配在那些NM上运行map（即yarnchild进程），reduce任务。1）执行hadoop jar命令之后，生成RunJar进程，客户端向RM申请一个job。10）运行map和reduce任务的NM，向资源共享文件系统获取job相关资源。12）job任务结束后，MRAppmaster向RM注销自己，然RM回收资源。3）客户端提交相关资源（jar，xml）到共享文件系统（HDFS）2）RM向客户端发送job资源的提交路径，生成jobID。11）运行map，reduce任务。...
hadoop笔记1-MR执行过程
Johnmay--Blog
11-26 692
MR执行过程包括Map、Shuffler、Reduce，其中Map、Reduce及Shuffler中的分区、合并、排序是可以允许程序员编程参与的。 1、Map阶段。 split-----map----partition sort and spill to disk------combine。 1）split的目的是应一个原始文件分成多个文件，分别交由不同的map节点处理，文件块大小由bl
MapReduce原理1
weixin_34209406的博客
04-28 205
Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1 为什么要MAPREDUCE （1）海量数据在单机上处理因为硬件资源限制，无法胜任 （2）而一旦将单机版程序扩展到集群来分布式运行，将极大...
MapReduce(MR)的整体执行流程: (Yarn 模式)
qq_60410574的博客
12-01 4259
MapReduce(MR)的整体执行流程: (Yarn 模式)
mr 过程
qq_38250124的博客
03-31 523
默认TextInputFormat 》 fileinputformat》inputformat map partitioner compare reduce outputformat mr 之间总称为shuffle```` RecordReader 是 inputformat中的成员变量 中有方法read() 返回一个kv对 自定义mapper之后 到outputCollector然后...
MR执行流程详解
qq_31461055的博客
10-22 2685
1 MR 切片机制 &amp; MR全流程 https://blog.youkuaiyun.com/javastart/article/details/52903124 2 MR执行流程详解 https://blog.youkuaiyun.com/Milkcoffeezhu/article/details/80551586 3 MR 切片逻辑 https://blog.youkuaiyun.com/qq_38250124/...
为什么mr的执行效率很低
最新发布
06-07
<think>嗯，用户想了解MapReduce执行效率低的原因以及优化方法，这个问题挺专业的。之前对话历史里已经提供了几个引用资料，我需要从中提取关键信息来组织回答。用户似乎是大数据领域的学习者或从业者，可能正在处理性能优化问题。从提问方式看，ta更关注系统性解决方案而非零散技巧。引用1到4其实已经涵盖了主要瓶颈和优化方向，特别是引用3对比Spark的部分很有启发性。核心效率问题主要集中在三方面：一是硬件资源利用率低，二是数据处理流程存在冗余，三是算法设计不够高效。引用2提到的Reduce等待问题，引用4强调的spill/merge次数，以及引用3指出的多阶段MR落盘问题都是关键痛点。优化方案需要分层设计：基础层要关注CPU/内存配置和节点健康状态；中间层调整JVM参数和文件分块策略；应用层则聚焦数据倾斜处理和小文件合并。特别要注意引用4提到的combine操作前置，这对减少I/O很有效。用户可能还隐含了对比Spark的需求，虽然没直接问，但引用3的DAG模型对比值得展开。不过当前问题范围限定在MR，暂时不需要过度延伸。回复结构可以按“瓶颈分类→对应优化→原理说明”展开，重点突出磁盘I/O和网络传输的优化，因为所有引用都反复提到这两点。最后补充相关问题时，要确保覆盖用户可能延伸的实操细节，比如具体参数调整方法。</think> MapReduce（MR）执行效率低的原因及优化方案可从以下层面分析，综合引用资料中的关键点： --- ### **一、MapReduce执行效率低的核心原因** #### 1. **I/O操作瓶颈**（引用[2][^2]、引用[4][^4]） - **磁盘读写频繁**：`Map`阶段数据溢写（spill）、排序（sort）、合并（merge）需反复读写磁盘，`Reduce`阶段从多个Map节点拉取数据也需磁盘交互。 - **数据倾斜**（引用[1][^1]）：个别`key`的数据量过大，导致部分`Reduce`任务处理时间远超其他节点。 - **小文件过多**（引用[1][^1]）：海量小文件导致`MapTask`启动开销大，且元数据管理复杂。 #### 2. **资源调度与任务模型限制**（引用[3][^3]） - **多阶段读写HDFS**：复杂任务需多次`MapReduce`串联，每个阶段结果需写入HDFS再读取，磁盘I/O和网络传输成为瓶颈。 - **任务启停开销**：每个`MapTask`/`ReduceTask`需独立申请资源，资源调度耗时累积。 #### 3. **配置参数不合理**（引用[1][^1]、引用[4][^4]） - **Mapper/Reducer数量不当**：过多导致调度开销大，过少导致并行度不足。 - **内存分配不足**：`io.sort.mb`（排序缓冲区）过小，导致spill次数激增。 - **未充分利用Combiner**：未在Map端预聚合数据，增加网络传输量。 #### 4. **计算资源问题**（引用[1][^1]） - **硬件性能**：CPU、内存、磁盘或网络瓶颈（如节点磁盘故障、网络带宽不足）。 --- ### **二、优化方案与解决思路** #### 1. **减少磁盘与网络I/O** - **调整排序参数** - 增大`io.sort.mb`（默认100MB），提升排序缓冲区（引用[4][^4]） - 设置`io.sort.spill.percent`（溢写阈值，默认0.8），延迟溢写触发。 - **合并小文件** - 输入前：使用`HAR`或`CombineTextInputFormat`合并小文件（解决引用[1][^5]问题）。 - 输出后：设置`hive.merge`相关参数。 - **启用Combiner**：在Map端预聚合数据，减少向Reduce传输的数据量（引用[4][^4]）。 #### 2. **优化任务并行度与调度** - **动态调整任务数** - **Mapper数量**：目标处理量 ≈ HDFS块大小（如128MB/块），避免碎片化。 - **Reducer数量**：按公式 `reduce_num = min(数据总量/单Reduce处理量, 集群最大槽位数)`（引用[1][^1]）。 - **数据倾斜处理** - **拆分倾斜Key**：如对热点key添加随机前缀打散（如`key_%{random}`）。 - **使用二次排序**：`Map`端按`key+随机数`分发，`Reduce`内部再聚合。 #### 3. **资源与计算优化** - **JVM复用**：开启`mapred.job.reuse.jvm.num.tasks`，减少启停开销。 - **内存管理**： - 增大`mapreduce.map.memory.mb`/`reduce.memory.mb`，匹配数据规模（引用[1][^1]）。 - 启用压缩：对中间输出（`mapreduce.map.output.compress=true`）降低磁盘和网络负载（如Snappy压缩）。 #### 4. **架构改进**（引用[3][^3]） - **升级计算引擎**： - 复杂作业改用`Spark DAG`引擎（避免多阶段MR的HDFS读写），或`Flink`流批一体架构。 - **优化中间结果存储**： - 使用`Tez`或`Spark`缓存中间结果到内存，避免频繁写HDFS。 --- ### **三、优化效果验证** 通过对比优化前后的指标判断： - **Map阶段**：观察`spill次数`（减少90%+为佳）、`merge文件数`。 - **Reduce阶段**：监控`Shuffle耗时`、`Reduce任务最大/最小耗时差`（控制<30%）。 - **整体**：`任务总时长`、`集群资源利用率（CPU/内存/网络）`。 --- **相关优化参数示例** ```shell # 减少Spill次数 set mapreduce.task.io.sort.mb=512 # 排序缓冲区扩至512MB set mapreduce.map.sort.spill.percent=0.95 # 溢写阈值95% # 提升Reduce均衡性 set mapreduce.job.reduces=50 # 按数据量动态计算 set hive.optimize.skewjoin=true # 开启Join倾斜优化 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值