MapReduce整体流程简述

最新推荐文章于 2024-09-16 22:54:38 发布
原创 最新推荐文章于 2024-09-16 22:54:38 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce

本文详细解析了MapReduce的工作机制，包括如何通过滑动窗口对HDFS中的block进行切片，以及mapTask和reduceTask的具体操作流程。阐述了数据切片、排序、归并及分组等关键步骤。

在这里插入图片描述
输入：
以滑动窗口的形式对hdfs中的block切片，split， 切片的大小默认==block大小，实际情况还需要根据计算形式：cpu密集型还是I/O频繁型来决定，切片的大小，split切片可大于，也可小于block大小
mapTask:
每一个split中的每一条记录，记录可以用任何标识符分割，每一条记录调用一次map方法，map方法的输出是[K,V]，经过计算，得到的输出是[K,V,P]
[K,V,P]存入内存缓冲区，内存buffer默认大小为100MB，在内存中先进行一次快速排序，也是一个二次排序，先按分区P排序，再按K排序，排序的结果是分区有序，分区内K有序，
当map没有输出，溢写的多个小文件，进行了归并排序，得到了一个大文件，分区有序，分区内K有序
reduceTask:
shuffer，洗牌，每一个reduce都有自己的分区号，去mapTask中拉取自己分区号的数据
拉取的数据是多个小文件，这些小文件是内部K有序，外部无序的状态，归并排序后，得到一个大文件，这个文件是中，K是有序的，最终实现了分组，group，相同K的数据放在一起，分组是K值相同实现的
每一组调用一次reduce方法
输出：
reduceTask把输出结果写入hdfs，按照hdfs写流程，就完成了整个操作

HDFS与MapReduce
追赶时代的博客
10-29 305
hadoop两个重要组件：HDFS与MapReduce
MapReduce程序运行过程
woshiermingerming的博客
10-31 1323
MapReduce程序运行过程 　　1. 作业运行过程：首先向JobTracker请求一个新的作业ID；然后检查输出说明（如输出目录已存在）、输出划分（如输入路径不存在）；JobTracker配置好所有需要的资源，然后把作业放入到一个内部的队列中，并对其进行初始化，初始化包括创建一个代表该正在运行的作业对象（封装任务和记录信息），以便跟踪任务的状态和进程；作业调度器获取分片信息，每个分片创建一个
MapReduce流程简要概括
xiaohu21的博客
08-19 3549
MapReduce流程简要概括 1.分布式计算 分布式计算 很重要的思想就是，一个问题拆分为多个步骤和多份数据，然后很多台计算机一起处理，最后对这些数据处理结果汇总聚合就是最终结果。 我们的程序就是数据加逻辑/算法（代码），而要让多台电脑能够一起参与到问题解决中来，首先需要把数据和代码进行分割，这样让每台计算机都能参与计算与处理。 在这个过程中，如何保证各个计算机分到的数据和任务都是相对均衡跟适合的就很考验程序机制了。例如集群中有高配电脑和低配电脑，如何协调，让高配电脑和低配电脑都能分配到适合自己硬件配置
MapReduce的执行流程
热门推荐
孤落
12-27 1万+
一个MapReduce的作业执行流程是：1）代码编写；2）作业配置；3）作业提交；4）Map任务的分配和执行；4）处理中间结果；5）Reduce任务的分配与执行；6）作业完成。具体如图1-1所示。下面以一个简单的单词计数例子对各个步骤做一个详细的介绍。 1代码编写及配置代码编写及配置主要是在客户端进行。1）代码编写主要是编写我们需要的map函数和Reduce函数。map函数代码如下：@Overri
详解MapReduce全过程
2301_77702743的博客
09-16 2185
我们为什么要如此大费周章的使用MapReduce？用MySQL处理不好吗？大家有没有这些疑问，明明很多的事情MySQL就能够解决的很好，为什么硬要上MapReduce呢？我来回答一下这个问题。MySQL是单机场景，而MapReduce是分布式系统，两个工具处理数据的能力是千差万别，mapreduce适合的是PB，TB级别的数据集处理，而mysql能力却较为有限。mapreduce采用分布式计算，容错性非常之高，一个节点报错了其他节点可以迅速进行补上。
MapReduce的原理及执行过程
weixin_30242907的博客
03-08 379
MapReduce简介 MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。 MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 MapReduce执行流程 MapReduce原理 MapReduce的执行步骤： 1、Map任务...
MapReduce执行流程
m0_51388399的博客
03-20 4618
Read：读取阶段MapTask会调用InputFormat中的getSplits方法来对文件进行切片切片之后，针对每一个Split，产生一个流用于读取数据数据是以Key-Value形式来产生，交给map方法来处理。每一个键值对触发调用一次map方法Map：映射阶段map方法在获取到键值对之后，按照要求对键值对中的数据进行拆分解析，解析之后按照要求输出键值对形式的结果Collect：收集阶段MapTask拆分产生数据之后，并不是直接将数据传输给ReduceTask，而是会调用。
MapReduce运行过程简述
qq_35828475的博客
11-26 2478
MapReduce整体分为Map阶段，shuffle阶段和reduce阶段 map阶段 对输入的文件进行分片InpuSplit，每个分片由一个Mapper进程进行处理 对输入的分片内容按照一定的规则解析成键值对。默认是每行偏移量为key，每行的内容为value 进入map方法进行用户的业务处理，然后输出到环形缓冲区，减少对磁盘的访问次数 ...
从WordCount词频统计简单来看：MapReduce的执行流程
dd1296的博客
07-02 2476
使用MapReduce来实现WordCount词频统计的代码 1、需要的maven依赖包 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version> </dependency> <!-- h
MapReduce简明工作原理
wangkuangood3200的专栏
09-16 865
MapReduce被称为开启大数据算法之门的钥匙，本文对MapRduce的工作原理作一个简明的介绍。 MapReduce核心思想及框架 在古代，人们采伐下来很多木头，需要用马来拉，但如果木头很多的话，用一匹马拉则不现实，这时，找一匹更强壮的马来拉显然不是一个好的办法，而会选择让多匹马来拉；对于大数据来说，也是一样的原理，超级计算机并不是最可行的解决方案，分而治之才是最佳选择，这就是MapRed...
MapReduce运行机制
Deer的博客
04-18 1761
MapReduce简介 mapReduce的设计理念是“计算向数据靠拢”，采用“分而治之”的策略，将庞大的数据集切分成多个独立的小分片，并且为每个小分片单独地启动一个map任务（WordCount）,这样多个小切片可以并行地执行map任务。其中，map任务地输出又作为reduce任务地输入。 适合mapReduce来处理的数据集需要满足一个前提：待处理的数据集可以分解成许多更小的数据集，且每一个更...
Hadoop MapReduce 过程概述
Nathan Yan
12-20 1305
一个MapReduce任务就是一个Job。Job分为2个阶段：Map 和 Reduce Map函数接收一个形式的输入，然后产生一个形式的中间输出，Hadoop会把相同中间Key值的value集合在一起传给reduce函数。 reduce 函数接收key,(list of values)> 形式的输入，然后对values集合进行处理，输出形式。 一个MapReduce Job 包括
MapReduce的运行流程概述
Sun's Blog
07-11 440
MapReduce处理数据的大致流程 ①InputFormat调用RecordReader，从输入目录的文件中，读取一组数据，封装为keyin-valuein对象 ②将封装好的key-value，交给Mapper.map()------>将处理的结果写出 keyout-valueout ③ReduceTask启动Reducer，使用Reducer.reduce()处理Mapper的keyout-valueout ④OutPutFormat调用RecordWriter，将Reducer处理后的keyou
mapreduce完整流程的介绍
qq_45383734的博客
08-16 351
流程 简略总述 1：读取文件，解析成为key，value对 2：自定义map逻辑接收key，value，转换成为新的key，value输出；写入环形缓冲区 3：分区：写入环形缓冲区的过程，会给每个key，value加上分区Partition index。（同一分区的数据，将来会被发送到同一个reduce里面去） 4：排序：当缓冲区使用80%，开始溢写文件 先按partition进行排序，相同分区的数据汇聚到一起； 然后，每个分区中的数据，再按key进行排序 5：combiner调优过程，对数据进行ma
Map/Reduce执行流程简述
dajuezhao的专栏
08-14 1977
一、背景 最近总在弄MR的东西，所以写点关于这个方面的内容，总结一下吧 二、流程描述 说实话，文字描述比较苍白，画了个图，贴出来，大家看看，有问题欢迎指出 三、总结 1、值得提出的是，一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。 2、分组的操作是对key的值进行比较分组。（可以是复合key，也可以是单一的key） 3、关于job.setSortComparatorClass(a.class);这个是自定义的比较器，对原
MapReduce简述、工作流程
aicyo8644的博客
02-28 4800
MR编程模型之执行步骤： 　　1、准备map处理的输入数据 　　2、mapper处理 　　3、Shuffle 　　4、Reduce处理 　　5、结果输出 (input)<k1,v1> -> map -><k2,v2> -> combine -> <k2,v2> ->reduce -> <k3,v3...
MapReduce的执行过程介绍
jxlhc09的专栏
10-15 1191
对于MapReduce这张图是相当经典的，在网上看到很多谈到MapReduce的执行过程都会用到这张图片，下面我也讲讲自己对它的基础认识。 1，用户向jobclient提交MapReduce job。 2，jobclient向Jobtracker申请一个新的job id（通过调用jobtracker的getnewjobid()获得）。 3，将运行job所需的资源(Jar包，配置文件与计算所得
MapReduce计算流程简介
weixin_44191396的博客
09-29 1916
目前大数据计算分析主要用到的计算模型有MapReduce(离线批处理)，图并行计算，交互式处理(Iteractive Processing)，流计算(Streaming)，内存计算(In-memory Computing)，大规模并行处理(Massively Parallel Processing)等。 MapRedcue是一种支持分布式计算环境的并行处理模型。MapRedcue程序运行在由多态计...
MapReduce的简单介绍及执行过程
cuiyiyinga的博客
06-14 1331
#1.## MapReduce的简单介绍 MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： 1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 2）MapReduce是一个并行计算与运行软件框架（Software Fram...
简述MapReduce和Hadoop的关系
最新发布
06-15
### MapReduce与Hadoop的关系及作用 Hadoop是一个分布式计算框架，主要用于处理大规模数据集。它由两个核心组件组成：HDFS（Hadoop Distributed File System）和MapReduce[^2]。HDFS负责存储海量数据，而MapReduce则是用于并行处理这些数据的软件框架。 #### 1. **MapReduce在Hadoop中的角色** MapReduce是Hadoop的核心计算模型之一，专门设计用于批处理任务。它的主要功能是对大规模数据进行分布式计算。MapReduce的工作流程分为两个主要阶段：Map阶段和Reduce阶段[^3]。 - **Map阶段**：将输入数据分割成小块，并行处理每一块数据，生成中间结果（键值对）。这一阶段的主要任务是将原始数据转化为适合后续处理的形式。 - **Reduce阶段**：接收Map阶段生成的中间结果，对其进行汇总、聚合等操作，最终生成输出结果。此阶段的结果通常会存储到HDFS中[^1]。 #### 2. **MapReduce的特点** MapReduce的一个显著特点是适合批处理任务，但不适合实时计算场景。这是因为其计算机制需要经历多个阶段（如Map、Shuffle、Reduce），这会导致一定的延迟[^1]。 #### 3. **Hadoop与MapReduce的协同工作** Hadoop通过HDFS提供了一个高可靠性和高可用性的分布式文件系统，用于存储海量数据。而MapReduce则利用HDFS中的数据进行分布式计算。具体来说，MapReduce的任务会被分配到不同的节点上运行，每个节点只处理本地磁盘上的数据块，从而减少网络传输开销。这种设计遵循了“计算向数据靠拢”的原则[^5]。 #### 4. **MapReduce的具体执行过程** 在实际运行过程中，MapReduce的执行流程包括以下几个关键步骤： - **复制阶段**：Reducer从完成的Map任务中复制输出数据。此阶段通过HTTP协议实现，NodeManager负责管理Reduce任务的执行[^4]。 - **合并排序阶段**：Reduce任务会对复制来的中间结果进行合并和排序，确保数据按照键值有序排列。 - **Reduce阶段**：最终执行Reduce函数，生成最终结果并存储到HDFS中。 以下是MapReduce的一个简单代码示例，展示如何使用Python实现基本的MapReduce逻辑： ```python def map_function(data): # 将输入数据转换为键值对 for line in data: words = line.split() for word in words: yield (word, 1) def reduce_function(key, values): # 对键值对进行汇总 return (key, sum(values)) # 示例数据 data = ["hello world", "hello hadoop", "world hadoop"] # Map阶段 intermediate = list(map_function(data)) # Shuffle阶段（简化版） from collections import defaultdict shuffled = defaultdict(list) for key, value in intermediate: shuffled[key].append(value) # Reduce阶段 result = {key: reduce_function(key, values) for key, values in shuffled.items()} print(result) ``` #### 5. **总结** Hadoop和MapReduce之间的关系可以概括为：Hadoop提供了分布式存储和计算的整体解决方案，其中HDFS负责数据存储，MapReduce负责数据计算。两者共同协作，能够高效地处理大规模数据集[^2]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值