MapReduce的运行十一步

Hadoop深入浅出MapReduce详解(全网最细) 文章目录前言-MR概述1.Hadoop MapReduce设计思想及优缺点设计思想优点:缺点:2. Hadoop MapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段:作业提交(图1-4步)第二阶段:作业初始化(图5-7步)第三阶段:任务的分配(图8)第四阶段:任务的执行(图9-11)第五阶段:作业完成Tips 知识点:进度和状态更新4.MR各组成部分工作机制原理4.1概览:4.2 MapTask工作机制4.3 ReduceTask工作机制4.4shuffl 阅读详情

MapReduce2.0的运行原理

MR任务执行流程

提交作业->初始化作业->分配任务->执行任务->进度和状态更新->作业完成

架构图

在这里插入图片描述

提交作业

  • Client 提交到 Job
    1. client程序编写好job后将调用job的submit()或waitForCompletion()方法提交作业
    2. 从RM中获取新的jobId,即ApplicationID
  • Job 提交到 RM
    3. Client检查作业,计算输入分片,将作业资源(这里的资源包括作业JAR、配置和分片信息(map的并行度是切片信息决定,reduce是setNumReduceTask()决定))赋值到HDFS文件系统上
    4. 调用RM的 submitApplication() 方法提交作业

初始化作业

  • 给作业分配ApplicationMaster
    5.当RM检测到submitApplication()方法被调用时,将请求传递给scheduler(调度器)
    scheduler分配一个container,然后RM该会在NM管理下在分配的Container中ApplicationMaster
  • ApplicationMaster初始化作业
    6.MR作业的ApplicationMaster 是一个Java应用程序,它的主类是 MRAppMaster。它对作业进行初始化,通过创建多个薄记对象以保持对作业进度的跟踪,因为它将接受来自任务的进度和完成报告(这里关联的是后面的进度和状态更新)
    7.ApplicationMaster从HDFS中获取在Client计算的输入分片(主要是指map和reduce的个数)

ApplicationMaster决定如何运行构成MapReduce的各项任务,如果job小就在一台上运行就行,但大部分要申请新的container

任务分配

8.ApplicationMaster为job中的所有map、reduce向RM中请求新的container

请求也为任务指定了内存需求,在默认的情况下,map和reduce的任务都分配到1024M的内存,但这可以通过 mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb来设置。

任务执行

9.一旦RM的scheduler为job分配了新的container,ApplicationMaster就会通过与NM的通信来启动新的container
10.==在运行任务之前,首先将任务需要的资源本地化(包括作业的配置,JAR文件和所有来自分布式的缓存文件)==然后由主类为YarnChild的java应用程序执行
11.最后运行MR任务

任务状态的更新

  • 在YARN下运行,任务每 3s通过 umbilical 接口向 ApplicationMaster 汇报进度和状态(包括计数器),作为作业的汇聚视图(aggregate view)。

作业完成

  • 除了向 ApplicationMaster 查询进度外,Client 每 5s还通过调用 Job 的 waitForCompletion()来检查作业是否完成(查询的间隔可以通过 mapreduce.client.completion.pollinterval 属性进行设置)。
  • 作业完成后, ApplicationMaster 和任务容器清理其工作状态, OutputCommitter 的作业清理方法会被调用。作业历史服务器保存作业的信息供用户需要时查询。
MapReduce工作流程(Job与Shuffle)总结 MapReduce 工作流程 1、MapReduce作业执行流程 1.1、提交作业 客户端向ResourceManager提交作业。首先,用户需要将所有应该配置的参数根据需求配置好。作业提交之后,就会进入自动化执行。在这个过程中,用户只能监控程序的执行情况和强制中断作业,但是不能对作业的执行过程进行任何干预。 提交作业的基本过程如下: (1)、客户端通过**Runjob()**方法启动作业提交。... 阅读详情

相关推荐

使用Eclipse编译运行MapReduce程序

下载eclipse 64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64 解压到安装目录 安装 Hadoop-Eclipse-Plugin 要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin文件地址https://download.youkuaiyun.com/downlo...

迪宝宝的博客 5297

MapReduce作业的执行流程、错误处理机制、任务执行

一、MapReduce作业的执行流程 MapReduce作业的执行流程:代码编写→作业配置→作业提交→Map任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成。 每个任务的执行过程中又包含:输入准备→任务执行→输出结果。 MapReduce作业的执行可以分为11个步骤,涉及4个独立的实体。它们在MapReduce执行过程中的主要作用是: 客户端(Client):编写MapReduce代码,配置作业,提交作业; JobTracker:初始化作业,分配作业,与TaskTra

weixin_43409127的博客 3161

Hadoop+eclipse运行MapReduce程序

前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境。现在,我们在这个Hadoop+eclipse环境下运行MapReduce程序。 一、新建MapReduce项目 【 File】—>【new】->【Project】,选择【Map/Reduce Project】,单击下一步,设置项目名称为WordCount,确定。

GarfieldEr007的专栏 1670

MapReduce工作原理图文详解

                                            MapReduce工作原理图文详解 前言: 前段时间我们云计算团队一起学习了hadoop相关的知识,大家都积极地做了、学了很多东西,收获颇丰。可是开学后,大家都忙各自的事情,云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下,我们云计算团队重振旗鼓了,希望大伙仍高举“云在手,跟我走”的口号战斗...

逸情公子 5531

idea本地运行mapreduce程序

上一篇文章介绍了如何在idea上运行hdfs程序,中间出现了很多错误,通过不断的在网上查找资料和自己的尝试。终于可以正常运行了。 这篇我们将进行mapreduce程序的调试。 准备工作: 下载hadoop到windows本地 地址:https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz 解

chenzhongwei99的专栏 1万+

MapReduce的运行机制

MapReduce作业是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个任务(task)来执行,其中包括两类任务:map任务和reduce任务。这些任务运行在集群的节点上,并通过YARN进行调度。如果一个任务失败,它将在另一个不同的节点上自动重新调度运行。 Map端 1.输入数据(input) 2.切片(split) ,Hadoop将MapReduce的输入数据划分成等长的小数据块,称为输入分片(input split)。Hadoop为...

李漂亮的博客 1593

(二)MapReduce整体流程

1.MapReduce工作流程 1.MapReduce核心思想 (图6): 采用“分而治之”思想,将大数据集拆分到多个小数据块,再转到多台机器上并行处理。总的来说Map任务独立执行被分割的数据,Reduce将Map任务的中间结果进行并行整合,最后得到整个数据集输出结果。 图6 MapReduce整体流程 2.MapReduce各阶段流程 (图7): (1)Map预处理:MapReduce框架使用InputFormat模块做Map任务前的预处理(从HDFS中加载数据),比如验证输入格...

大表哥的博客 7228

MapReduce在YARN上的运行流程

客户端提交mr程序job的流程 mr程序在yarn上的运行流程

wusdsf的博客 3679

MapReduce之Eclipse本地运行

  前面我们介绍的wordcount案例是在Eclipse中写好代码,然后打成jar包,然后在Linux环境中执行的,这种方式在我们学习和调试的时候就显得非常的不方便,所以我们来介绍下直接在Eclipse运行的本地运行方式。 本地运行模式 本地运行模式的特点 mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行。 而处理的数据及输出结果可以在本地文件系统,也可以在...

波波烤鸭的博客 2154

实战指南:轻松破解DataDome滑块验证码的关键步骤

本文详细介绍了破解DataDome滑块验证码的关键步骤,包括理解其工作原理、准备工作、参数获取与配置、完整破解流程及API调用。通过使用Capsolver服务和模拟真实用户行为,帮助开发者有效绕过这一反机器人机制,同时强调了法律与道德考量。

weixin_30415113的博客 486

IIC协议常见误区解析:从时序图到实际波形(附逻辑分析仪实测)

本文深入解析IIC协议在实际应用中的常见误区,从理想时序图到逻辑分析仪实测波形的差异,揭示通信故障的根本原因。通过硬件设计优化、软件时序调优和高级调试技巧,帮助开发者有效规避IIC通信中的隐形陷阱,提升系统稳定性。

weixin_28738397的博客 371

使用IDEA运行mapreduce(windows运行代码+hadoop运行jar包)

windows配置idea的教程: https://blog.youkuaiyun.com/qq_40343117/article/details/100351273 mapreduce运行原理解析(写代码之前最好记住这些框架,否则不是很好记忆): https://blog.youkuaiyun.com/qq_40343117/article/details/100079532 1、编写代码 我们使用IDEA运行mapr...

qq_40343117的博客 3905

TI 实时操作系统SYS/BIOS使用总结

1:概述: SYS/BIOS 是一个可扩展的实时的操作系统。具有非常快速的响应时间(在中断和任务切换时达到较短的延迟),响应时间的确定性,强壮的抢占系统,优化的内存分配和堆栈管理(尽量少的消耗和碎片)。能够实现系统的模块化并可裁剪。 最大的特点就是:实时。 2:XDCtools: XDCtools 是SYS/BIOS引用的一种实时的软件组件技术(RTSC),它包括一些有用的工具,标准的AP

带头奋青的博客 5万+

MapReduce工作流程原理,MapReduce程序运行模式

MapReduce工作流程原理: Map的输出 是key,value的 list Reduce的输入是key。value的list MapReduce核心思想 分而治之,先分后和(只有一个模型) Map负责数据拆分 map: [k1,v1] → [(k2,v2)] Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3] Mapreduce的输入是一个目录,那么会...

汉子一枚 5168

Arm A-profile架构RAS系统设计:可靠性、可用性与可服务性解析

在计算机体系结构中,可靠性(Reliability)、可用性(Availability)和可服务性(Serviceability)是构建高可信系统的核心要素。RAS系统通过硬件错误检测、隔离和恢复机制,确保系统持续稳定运行。其技术原理包括ECC内存纠错、冗余执行单元和错误传播阻断等关键技术,可显著降低数据中心等关键业务场景的故障率。现代芯片设计中,Arm A-profile架构提供标准化的RAS框架,涵盖从内存子系统到计算单元的全方位错误管理。通过分层防御策略和统一错误记录格式,实现硬件错误可追溯、可修复。

weixin_30920853的博客 358

如何处理MIGO取消物料凭证报错:“只是可能对有相同的价格控制进行倒记账(本月S,前月V)” & “仅在 QM 中修改物料质量检验库存”

记录一次处理MM模块的报错。这次连续处理了两个错误,“只是可能对有相同的价格控制进行倒记账(本月S,前月V)” & “仅在 QM 中修改物料质量检验库存”。把过程和操作步骤记录下一。方便日后回头查找。

IT小职员 6232

eclipse编译运行MapReduce程序

eclipse编译运行MapReduce程序 一、环境 Ubuntu16,Hadoop2.7.1 二、安装eclipse 你可以直接在Ubuntu的Ubuntu软件中心直接搜索安装Eclipse,在桌面左侧任务栏,不过我用这种方法安装之后Eclipse打不开,就参照了下面这个网站的安装步骤: Eclipse安装步骤 jdk安装可以参考这个网站的安装JAVA环境 三、安装配置Hadoop-Eclip...

weixin_43709601的博客 2294

小样本学习概述

目录 前言 小样本学习存在的意义? 什么是小样本学习? 小样本学习的方法有哪些? 结语 前言 小样本学习(Few-Shot Learning)是近几年兴起的一个研究领域,小样本学习旨在解决在数据有限的机器学习任务。 小样本学习存在的意义? 近些年,以深度卷积神经网络为代表的深度学习方法在各类机器学习任务上取得了优异的成绩——很多任务上已经超越了人类表现。狂欢背后,危机四伏。因为这些深度学习方法work的关键之一是海量标注数据的支持。 但是在工业界,很多时候难以获得海量的训练数据,更.

DwD-的博客 3万+

MapReduce打包运行

比如其中一台机器挂了,它可以把上面的计算任务转移到另外一个节点上运行,不至于这个任务运行失败,而且这个过程不需要人工参与,而完全是由。我们集群上安装的java环境是1.8的,那么我们生成的代码也必须是这个版本的,否则,就会无法运行。我们集群上安装的java环境是1.8的,那么我们生成的代码也必须是这个版本的,否则,就会无法运行。在上面的代码中,我们的程序只能完成固定目录下的功能。当你的计算资源不能得到满足的时候,你可以通过简单的增加机器来扩展它的计算能力。改完代码之后,要重新打包,并上传到某台节点上运行。

2301_81872854的博客 774

ESP32-CAM 赋能 AI 视觉巡检小车:自主避障与目标追踪实现全解析

本文基于 ESP32-CAM 实现了低成本 AI 视觉巡检小车的核心功能,硬件成本<100 元,兼顾自主避障与目标追踪。算法升级:移植 YOLOv5nano 量化模型(INT8),提升目标检测精度(如识别巡检场景中的 “异常物体”“人员”);无线拓展:通过 MQTT 协议将巡检图像、距离数据上传到阿里云 / 腾讯云,实现远程监控;多传感器融合:增加温湿度(DHT11)、红外测温(MLX90614)模块,扩展巡检维度;路径规划:结合 SLAM 算法,实现自主建图与路径巡检。

weixin_42300449的博客 368

【气候模式降尺度】分位数增量映射(QDM)原理及MATLAB代码实现

简介QDM原理及其MATLAB代码实现

WW、forever的博客 5866

Idea远程连接Hadoop运行MapReduce

Idea远程连接Hadoop运行MapReduce 环境:hadoop2.7.1虚拟机伪分布式集群 虚拟机镜像文件下载 看到网上有许多文章,都很复杂,其实只需要以下三步就可以使用Idea远程连接Hadoop运行MapReduce 新建项目 导入jar包及设置配置文件 编写MapReduce运行 一、新建项目 这里不用多说,新建普通项目。 二、导入jar包及配置文件 导入jar包 HADO...

池边的树的博客 3925

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

MapReduce程序运行流程

2016年4月6日10:34:10 MapReduce程序运行流程 参考:https://blog.youkuaiyun.com/alex_bean/article/details/51469630 作者:数据分析玩家 一直以来虽然都在学习hadoop,也打算写一篇关于MapReduce程序运行流程的博客文章,但是一直没有时间,今天抽空写一篇,本篇文章尽量写的详细,如有问题请读者留言。 ...

什么最重要?算法!! 4896

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

通过运行jar包实现MapReduce

将MapReduce打包成jar包 打开eclipse 选择要打包的wordcount 右键 export 选择JAR file 点击 finish 运行jar包 实现MapReduce 进入输出路径找到对应jar包 将jar传输到hadoop 集群中去 在hadoop 集群中运行jar包 最后在web界面查看结果 以上均为仿照老师给的教程实现 附加:Wordcount.java packa...

qq_42713999的博客 1292

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: SpringCloud-Hystrix(断路器)
下一篇: 主流流处理框架之间的区别
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值