Mapreduce全流程(MR流程详解)

最新推荐文章于 2024-03-20 08:58:07 发布
原创 最新推荐文章于 2024-03-20 08:58:07 发布 · 3.8k 阅读 · 36 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Mapreduce #流程 #详解

本文详细阐述MapReduce的工作流程，包括读数据、Shuffle阶段、Reduce的执行和写出。重点介绍了数据切片问题的解决、Shuffle的分区、排序和归并过程，以及MapReduce中可干预的环节如Partitioner、Combiner和GroupingComparator的使用。

Mapreduce工作全流程

mapreduce工作三大核心问题

1.图示

在这里插入图片描述

  • 读数据到底是怎么回事？
  • shuffle到底是什么？
  • 结果数据到底是怎么回事？

mapreduce的工作流程

1.读数据

1.1对文件切片产生的问题的解决
  • 图示

在这里插入图片描述

  • 理解：当文件进行切片时，有可能会把单词且分开比如：hello切分为he和llo

    为了能够完整的，不出错的统计每一个单词的出现。有以下解决方案

  • 解决思想：因为默认的读取操作是，默认读取文件的一行数据，读取器不会管你是不是在这一行切开了。根据这个特性来进行框架规定了解决方案。

  • 解决方案(读取规则)：

    • 每个maptask都向下多读一行
    • 每一个maptask都要抛弃读取的第一行数据
    • 第一个maptask不需要抛弃第一行
    • 最后一个maptask不往下多读一行
1.2图示

在这里插入图片描述

1.3读文件流程
  • maptask调用TextInputFormat.
    • TextInputFormat:指定去读什么文件，比如：去文本文档中，数据库等
  • TextInputFormat调用createLineRecordReader方法后，会生成一个Reader（具体怎么去读）
  • 生成了一个LineRecordReader对象，按行读
    • nextkeyvalue
最低0.47元/天 解锁文章
MapReduce工作流程
Wuyikkk的博客
02-17 8644
1、Mapper的map()方法传来的<k,v>数据会先进入环形缓冲区kvbuffer（内存中首尾相连的数据结构，环形缓冲区由数据区和索引区组成），当kvbuffer中的数据达到80%，就会发生溢写。 2、溢写前，kvbuffer会对缓冲区内的数据进行快排，先按分区编号排序，再按map的key排序。（排序只会改变索引区索引的顺序，不会改变数据区的数据） 3、溢写多次，就会产生多个磁盘文件file.out，和索引文件file.out.index。 4、多个溢写文件会合并成一个文件（通过归并排序）.
mapreduce流程
最自由的笑的博客
08-17 446
mapreduce的整体流程 输入： 输入文件会被切分成多个切片，每一个切片交给一个map task进程来读取，默认每个block对应一个切片。 默认的Textinputformat以行为单位进行读取，每行数据返回一个键值对，将行号为key，行文本作为value，交给map函数处理。 因为如果一个切片包含了多个block，会存在maptask读取数据跨网络传输，不利于数据本地化的实现。 map： 在每个maptask中，有一个map函数，基于每行数据得到的键值对进行处理，得到新的键值对，
MapReduce工作流程（MapTask、ReduceTask工作机制）
weixin_47621995的博客
07-23 1200
MapReduce工作流程一： MapReduce工作流程二： 上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下： （1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 （3）多个溢出文件会被合并成大的溢出文件 （4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序 （5）ReduceTask根据自己的分
MapReduce的工作流程
weixin_44901473的博客
03-07 2336
Collect 阶段：在用户编写的 map() 函数中，数据处理完成后，一般会调用 outputCollector.collect() 输出结果，在该函数内部，它会将生成的 key / value 分片(通过调用 partitioner )，并写入一个环形内存缓冲区中(该缓冲区默认大小是 100MB )。Reduce 阶段：对排序后的键值对调用 reduce() 方法，键相等的键值对调用一次 reduce()方法，每次调用会产生零个或者多个键值对，最后把这些输出的键值对写入到 HDFS 中。
MapReduce执行流程详解（Yarn模式）
May_J_Oldhu的博客
10-02 875
MapReduce执行流程详解（Yarn模式）一.Reduce工作流程图二.MR整体执行流程（Yarn模式） 一.Reduce工作流程图 二.MR整体执行流程（Yarn模式） 1.在MapReduce程序读取文件的输入目录上存放相应的文件。 2.客户端程序在submit（）方法执行前，获取待处理的数据信息，然后根据集群中的参数的配置形成一个任务分配规划。 3.客户端提交切片信息给yarn，yarn中的resourcemanager启动MRappmaster。 4.MRAPPmaster启动后根据本次job
MapReduce工作原理流程图文详解（MapTask过程、Shuffle过程、ReduceTask过程）
weixin_43230682的博客
04-06 4483
工作流程一： 工作流程二： 一个完整的mapreduce程序在分布式运行时有三类实例进程： 1）MrAppMaster：负责整个程序的过程调度及状态协调 2）MapTask：负责map阶段的整个数据处理流程 3）ReduceTask：负责reduce阶段的整个数据处理流程 工作全流程详解： 上面图一和图二中的流程是整个MapReduce最全工作流程，主要包括MapTask阶段、Shuffle阶...
MapReduce平台优化详解.pdf
10-14
MapReduce平台优化详解 MapReduce平台优化是Hadoop生态系统中的一种关键技术，旨在提高MapReduce作业的执行效率和性能。本文将从MapReduce优化的角度，深入剖析MapReduce平台的优化方法，涵盖Combiner、Partitioner...
hadoop的shuffle过程
sofeld的博客
08-25 428
Shuffle 的执行阶段流程 1).Collect 阶段：将 MapTask 的结果输出到默认大小为 100M 的环形缓冲区，保存的是 key/value 序列化数据，Partition 分区信息等。 2).Spill 阶段：当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了 combiner，还会将有相同分区号和 key ...
MapReduce详细流程
08-17
里边就一张图，显示了MapReduce的详细流程，还算是比较实用。
2020-10-10
CurtCosling的博客
10-10 173
shuffle机制 具体Shuffle过程详解，如下： （1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 （3）多个溢出文件会被合并成大的溢出文件 （4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序 （5）ReduceTask根据自己的分区号，去各个MapTask机器上取相应的结果分区数据 （6）ReduceTask会抓取到同一个分区的来自不同MapTask的结果文件，
mapreduce的工作流程
不言尘世
06-16 1056
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段，具体的工作流程如图 1 所示。 在 Input 阶段，框架根据数据的存储位置，把数据分成多个分片（Splk），在多个结点上并行处理。 Map 任务通常运行在数据存储的结点上，也就是说，框架是根据数据分片的位置来启动 Map 任务的，而不是把数据
MapReduce执行流程
最新发布
m0_51388399的博客
03-20 4697
Read：读取阶段MapTask会调用InputFormat中的getSplits方法来对文件进行切片切片之后，针对每一个Split，产生一个流用于读取数据数据是以Key-Value形式来产生，交给map方法来处理。每一个键值对触发调用一次map方法Map：映射阶段map方法在获取到键值对之后，按照要求对键值对中的数据进行拆分解析，解析之后按照要求输出键值对形式的结果Collect：收集阶段MapTask拆分产生数据之后，并不是直接将数据传输给ReduceTask，而是会调用。
MapReduce流程简单解析
热门推荐
yuzhuzhong的博客
05-22 1万+
以最经典的WordCount单词计数为例来介绍Map/Reduce阶段具体的处理步骤。
MapReduce流程
Rick的修仙路
10-12 506
MapReducer流程Job：● job.setjarbyclass(MyApp.class);//只要是在jar包中都可以写 ● job.waitForCompletion 等待任务结束（开启监视机制，轮询方案） ● job.submit() 任务提交后不会等待，直接退出。● 输入（InputFormat)—>(偏移，段落）——StringTokenizer>(偏移
揭秘Hive执行机制：MR MapReduce详解
Hive实现原理是一份由淘宝综合产品团队的作者周忱（花名周忱，真名周敏）编写的教程，他曾在淘宝Hadoop与Hive研发组担任过Leader，并专注于...理解这个原理有助于深入掌握Hive的工作流程，以及如何优化其性能和扩展性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值