MapReduce的运行原理

大数据框架MapReduce运行原理 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是”任务的分解与结果的汇总”。 MapReduce架构 先来看一下MapReduce1.0的架构图 image 上图中的Tas... 阅读详情

MapReduce的执行步骤:

在这里插入图片描述

  1. 每个Map上创建一个split数据,默认和block大小相同,每一个split都会由一个map task进行处理,从block中读取出每一行的数据会变成一个个的键值对<K,V>。

  2. 接下来,读取出来的数据都会进入内存缓冲区,在进入缓冲区之前,每一条数据都会被打上标签,这个过程叫做分区,由分区器来完成,默认的分区器是HashPartitioner,然后数据就会被读取到缓冲区,缓冲区会将这些数据先进行combiner,然后进行排序,排序规则是先根据分区号来排序,然后根据key来排序,缓冲区大小为100M,分为两个部分,分别是80M和20M,之所以这样划分是为了在内存中读满数据的时候,80M的数据会溢写到磁盘中形成一个个小文件,在这个时候,由剩下的20M内存进行读数据,提高计算效率。

  3. 接下来,磁盘中一个个排好序的小文件会被合并成一个大文件,过程中会使用归并排序将属于同一分区的数据合并大大文件中的同一分区,在排序的过程中还会进行一次combiner。

  4. 当所有的map task完成后,每一个map task都会形成一个最终文件,并且该文件按区进行划分。在reduce中,就会拉取各个map中的属于同一分区的数据到相应的reduce task,当内存满了就会进行溢写,在溢写前会进行排序,当把这个分区的数据全部拉取过来之后,磁盘中一个个的小文件会进行合并,合并的过程中也会根据key进行排序。排完序之后,会把合并后的大文件进行分组,相同的key为一组,每一组数据调用一次reduce。第一组调用reduce形成一个结果文件,其他组形成的结果也会追加到这个结果文件中,也就是说,一个分区的数据只会形成一个结果文件。

MapReduce分布式计算框架体系结构

Hadoop1.x版本:
角色:
  • JobTracker
    JobTracker是整个集群的核心,是集群的资源调度主节点以及任务调度主节点

  • TaskTracker
    1、JobTracker的从节点,负责自身节点的资源管理,会周期性的向JobTracker汇报心跳,心跳信息包括任务执行进度、任务运行状态、资源使用情况、节点健康情况等。
    2、TaskTracker会执行JobTracker下发的各种命令,主要包括:启动任务、提交任务、杀死任务和重新初始化。

  • Client
    以作业为单位,把任务提交到JobTracker

弊端:

  • JobTracker负载过重,容易产生单点故障
  • 资源管理与计算调度强耦合,其他计算框架需要重复实现资源管理、
  • 不同框架对资源不能全局管理,存在资源隔离以及抢夺问题
Hadoop2.x版本 yarn:

在这里插入图片描述

角色:
  • ResourceManager
    负责集群的资源调度,是整个集群的核心,根据客户端的请求启动应用对应的ApplicationMaseter。
    同时会有zookeeper集群管理着一个备用的ResourceManager。

  • NodeManager
    1.向ResourceManager汇报资源
    2.管理Container生命周期

  • Container
    存在于NodeManager节点,具体任务task的计算单元
    默认NodeManager启动线程监控Container大小,超出申请资源额度,kill

  • ApplicationMaster
    管理应用的生命周期,向ResourceManager申请资源,以作业为单位,把作业分发到不同的节点,管理任务对应的Container。
    ApplicationMaster一旦挂掉,整哥任务都停止了,此事ResourceManager会重新启动ApplicationMaster。

  • Client
    请求资源创建AM
    与AM进行交互

工作流程:

1、提交MapReduce程序,向NameNode请求要处理文件的Block的位置信息。
2、向ResourceManager申请资源,请求启动一个ApplicationMaster。
3、RM接收到请求后随机选择一台资源充足的节点启动Container容器
4、NodeManager会在这个Container容器中启动一个ApplicationMaster(任务调度器)
5、client把请求到的Block的位置信息提交到AM。
6、AM根据这些位置信息向ResourceManager申请资源,RM接收请求选择资源充足的节点启动一个Container容器,并在容器中创建yarn-child进程。
7、AM分发Map Task线程到各个yarn-child中执行。
8、在每个yarn-child所在节点,每个Map Task线程执行完后会都会生成一个磁盘文件。
9、如果yarn-child节点资源充足,AM会优先选择这些节点分发Reduce Task任务。
10、等Reduce Task执行完之后,会把结果文件写入HDFS。

总结:

在Hadoop2.x版本,将原本的JobTracker中的资源调度器和任务调度器进行了拆分,分别由ResourceManager和ApplicationMaseter进程实现,yarn的引入,使的多个计算框架可以在同一个集群运行,如果其他的计算框架需要运行在yarn集群,只需要实现ApplicationMaster组件即可。

详解MapReduce的运行原理以及如何运行在yarn上 1.MapReduce运行Yarn上详解 (1)Client向Yarn主节点RM提交应用 bin/yarn jar MainClass args (2)RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者 (3)AppMaster向RM请求资源,为了运行MapReduce中所有的Task,RM将分配NM是哪个资源,并且告知AppMaster (4)AppMa... 阅读详情

相关推荐

Palabos User Guide中文解读 | 第五章 | Palabos编程 (跳过了第四章Palabos-Java接口)

作者的话:本人在学习palabos时,发现国内中文资料甚少,恰好网上可以直接搜到palabos user guide这种英文资料,加之时间充裕,便打算开始翻译,翻了一节后发现这可能算侵权,就比较伤脑筋,突然想到自己写中文解读即可,便有了下面的博客。 Palabos User Guide Release 1.0 r1 Copyright © 2019 University of Geneva Jul...

Yulan Fang's notes. 2299

大数据基础篇--MapReduce工作原理

mapreduce

qq_43709558的博客 1万+

第十一届全国大学生GIS应用技能大赛——广西区域发展布局示意图

我们需要制作一幅广西区域发展布局示意图,最终成图参考“数据”文件夹中的广西区域发展布局示意图.png。地图使用的投影坐标系是 Asia_North_Albers_Equal_Area_Conic,其中地理坐标系是China_Geodetic_Coordinate_System_2000,中央经线东经 105°,标准纬线是北纬 25°和北纬 47°,出图比例尺 1:4,780,000。

@HNUSTer的博客 7802

MapReduce shuffle过程详解

一、MapReduce计算模型 我们知道MapReduce计算模型主要由三个阶段构成:Map、shuffle、Reduce。 Map是映射,负责数据的过滤分法,将原始数据转化为键值对;Reduce是合并,将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果,必须对Map的输出进行一定的排序与分割,然后再交给对应的Reduce,而这个将Map输出进行进一...

weixin_42265234的博客 1810

PCL读取点云数据报错:Failed to find match for field ‘x‘/ ‘y‘/ ‘z‘.

原因:使用matlab生成的pcd文件,点云数据是双精度类型,pcl处理的点云数据是单精度类型。解决方案:使用matlab生成的点云坐标单精度化,然后在生成点云加以存储。

little_white138的博客 872

wps js宏获取工作簿、工作表、单元格的值、链接转图片、单元格区域数据转二维数组、保存工作簿的常用Excel操作

wps js宏入门看这里,我写了常用的js操作Excel的方法:获取工作簿对象、获取工作表对象、获取单元格的值、链接转图片、生成条形码图片、单元格区域数据转二维数组方法、保存工作簿、弹出输入框、YesNo选择框,助你从VBA转战JS。

huaermeier的博客 3万+

MapReduce 工作原理

MapReduce的工作原理

m0_72168501的博客 4857

ESP32-S3 调试经验:使用 ESP-PROG 与内置 USB-JTAG

关键词:ESP32 调试、ESP32-S3、ESP-PROG、JTAG、VSCode、OpenOCD、GDB作为一个前端开发转硬件调试新手,我最近花了不少时间在上。因为国内开发者常用 ESP32 做 IoT 项目,但大多数教程都比较零散,有些还过时,所以我决定把这次调试经历整理下来,希望能帮到后来人。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1228

MapReduce原理剖析

MapReduce是一种分布式计算模型,是Google提出来的,主要用于搜索领域,解决海量数据的计算问 题. MapReduce是分布式运行的,由两个阶段组成:Map和Reduce, Map阶段是一个独立的程序,在很多个节点同时运行,每个节点处理一部分数据。 Reduce阶段也是一个独立的程序,可以在一个或者多个节点同时运行,每个节点处理一部分数据在这我们先把reduce理解为一个单独的聚合程序即可。 在这map就是对数据进行局部汇总,reduce就是对局部数据进行最终汇总。 结合到我们前面分析的统计黑桃的

简单随风的博客 5054

boost::circular_buffer缓行缓冲区

1、circular_buffer实现了一个环形缓冲区,空间大小是固定的,当到达容器末尾时,将自动利用容器另一端的位置空间。 2、当程序需要容纳大量的元素,但多数情况下仅保存较少数量元素时可以使用circular_buffer_space_optimized,他可以有效的减少内存的占用,提高程序的运行效率。 3、主要接口: 4、实现一个生产者---消费者模式示例: #inc...

小米的修行之路 793

BUCK-BOOST升降压电路Multisim电路仿真分析

本文分析了三极管型BUCK-BOOST升降压开关电源的工作原理。该电路结合了BUCK降压和BOOST升压拓扑,通过控制三极管Q1的高频通断,使电感L1周期性储能和释能,实现输出电压可高于或低于输入电压且极性相反。详细阐述了Q1导通和关断阶段的工作过程,推导了输出电压与占空比的关系式Vo=-D/(1-D)*Vi,并分析了不同占空比下的工作模式(降压、升压)。通过Multisim仿真验证了理论分析,当D=25%时输出降压至1.6V,D=60%时输出升压至7.5V。电路具有升降压灵活、极性反转、效率高等特点,适用

XU157303764的博客 1437

MapReduce的基本工作原理

MapReduce的基本模型和处理思想:三个层面上的基本构思1.如果对付大数据处理:分而治之 对相互之间不具有计算依赖关系的大数据,实现并行最自然的办法就是采取分而治之的策略。 2.上升到抽象模型:Mapper与Reduce MPI等并行计算方法缺少高层并行编程模型,程序员需要自行指定存储,计算,分发等任务,为了克服这一缺陷,MapReduce借鉴了Lisp函数式语言中的思想,用M...

fanxin_i的博客 6万+

Python爬虫教程:抓取区块链交易信息及加密货币市场数据

随着区块链技术和加密货币的迅猛发展,区块链交易和加密货币市场的数据逐渐成为金融、技术、经济研究等领域的热点。对于开发者和研究者而言,实时获取区块链交易数据和加密货币市场行情,对于投资分析、市场预测、技术研究等具有重要的参考价值。本文将通过Python爬虫技术,介绍如何抓取区块链交易信息及加密货币市场数据,详细阐述数据获取的原理、技术方案、实现方法以及抓取到的数据的存储与分析。我们将依托最新的爬虫技术,如requestsSeleniumScrapy,以及相关的数据处理库(如pandasmatplotlib。

2201_76125261的博客 2778

MapReduce运行原理

一、MapReduce完整运行流程 二、MapReduce任务的Shuffle和排序过程 三、内存缓冲区:MapOutputBuffer 一、MapReduce完整运行流程 解析: 1 在客户端启动一个作业。 2 向JobTracker请求一个Job ID。 3 将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的jar文件、配置文件和客户端计算...

qq5318267的博客 268

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

MapReduce的运行原理讲解

MapReduce是一种编程模型,它是用于大规模数据集的并行运算,极大地方便了编程人员咋不会分布式并行变成的情况下,将自己的程序运行在分布式系统上。 MapReduce的原理总之就是一句话----分久必合,合久必分 Map和Reduce是分开的两个部分,Map不是我们所学习的Map集合而是代表了切割,而Reduce就是合并,以下就是MapReduce的运行原理图 首先我们在磁盘中获取大量数据源后...

大数据让未来充满希望 482

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Hadoop 之MapReduce 运行原理全解析

转自:http://blog.youkuaiyun.com/yclzh0522/article/details/6859778  我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理. 1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符

xuanjiewu的专栏 3698

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

第六天 hadoop MapReduce运行原理

MR运行原理一、MapReduce概述<1>概念<2>特点<3>底层的实现流程<4> MapReduce案例----wordCount思路Map端Reduce 端client端二、MapReduce运行流程1. 在MapReduce作业中的进程2. mr程序执行流程二、MapReduce 并行度 决定机制MapTask并行度 决定机制ReduceTask的并发度决定机制三、切片机制切片优化四、数据的分区五、数据的排序六、数据的合并七、案例 单词统计Map端

我还是个菜鸟 372

Spark运行原理&相对mapreduce优势

Spark运行原理&相对mapreduce优势 一. 相对mapreduce优势 Spark 与 mapreduce 的重要概念区别 mapreduce 一个 mapreduce 就是一个job 一个job 包含N个task ( Map Task /Reduce Task) 一个task 对应一个进程 Task运行开启进程, task完毕后销毁进程, 对于多个task而言, 开销是比较大的 Spark Application = Driver(mian中创建SparkContex

qq_36998916的博客 732

mapreduce编程规范_MapReduce开发运行的精简原理

作者:黑马程序员链接:https://zhuanlan.zhihu.com/p/81237437来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。简单介绍相信关于Hadoop中MapReduce的相关文章会很多,这里只简单介绍一下MapReduce的相关知识。Hadoop的MapReduce来源于Google公司的三篇论文中的MapReduce,其核心思想是“分而治之”...

weixin_39963744的博客 89

MapReduce运行的工作原理

因为目前大部分公司采用的为YARN调度框架,所以本篇文章只针对MapReduce2进行阐述。一、MapReduce作业运行流程              图   Hadoop使用YARN运行MapReduce的过程(图片截取自Hadoop权威指南)       1、通过Job的submit()方法创建一个JobSummiter实例,并且调用其submitJobInternal()方法。      ...

Dzhantao的博客 831
上一篇: 大数据课程-HDFS详解
下一篇: 基于高可用的HDFS分布式集群搭建Yarn
PowerBlogger
博客等级 码龄8年 10粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值