HDFS Yarn MapReduce关系

最新推荐文章于 2024-11-28 11:49:32 发布
原创 最新推荐文章于 2024-11-28 11:49:32 发布 · 434 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #mapreduce #hadoop

本文详细介绍了HDFS(Hadoop Distributed File System)和YARN(YARN Resource Manager)在MapReduce任务执行过程中的交互。当数据上传到HDFS后，MapReduce作业提交到YARN，由ResourceManager调度AppMaster，进而分配Container到各个NodeManager上运行MapTask。MapTask从DataNode读取数据，完成处理后，AppMaster申请资源运行ReduceTask。ReduceTask在获取MapTask结果后将其写回HDFS。整个流程展示了HDFS和YARN如何协同支持大规模数据处理。

HDFS Yarn MapReduce关系

图片讲解

在这里插入图片描述

文字讲解

  1. HDFS启动

    • 一个HDFS集群,三个结点,一个有NameNode,三个DataNode,一个SNM

    • 往HDFS上传数据,就是上传到DN

  2. YARN启动

    • 一个RM,三个NodeManager

    • 写MR程序,提交Job到RM

    • RM启动APPMaster

    • AM向RM申请Resource

    • RM会给AM资源：Container

      (根据每个结点的资源情况;运行程序需要的资源的块所在的结点;合理分配Container)

    • MapTask在Container,MapTask会去DataNode上面读取资源

    • MapTask运行完产生结果,此时AppMaster再次向RM申请运行ReduceTask所需资源

    • RM选择合适的结点创建容器,运行RT,此时RT到MT所在的容器拉取运行结果

    • ReduceTask运行完结果后就会写到HDFS上,即：DataNode上

    • 释放资源

Yarn工作机制和HDFS、Yarn、MapReduce之间的关系
ZYN的博客
12-17 1673
文章目录1、Yarn基础架构2、Yarn工作机制2.1 作业提交全过程详解(1)作业提交(2)作业初始化(3)任务分配(4)任务运行2.2 作业提交过程中HDFS和MapReduce3、HDFS、Yarn、MapReduce三者之间的关系 1、Yarn基础架构 ​ YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。各组件功能如下所示： 2、Yarn工作机制 2.1 作业提交全过程详解 (1)作业提交 Cl
HDFS、YARN、MapReduce概述及三者之间的关系(图解)
HGl1327401792的博客
01-20 4313
HDFS(Hadoop Distributed File System) 是一种分布式文件系统，用于处理在商业硬件上运行的大型数据集。它用于将单个 Apache Hadoop 集群扩展到数百 （甚至数千）个节点。HDFS 是的主要组件之一，其他组件包括MapReduce和 YARN。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。MapReduce是一种分布式计算框架。
大数据Hadoop入门——HDFS、Yarn、MapReduce
weixin_44090845的博客
11-16 2726
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****
HDFS、YARN、MapReduce概述及三者之间的关系
m0_54866636的博客
09-02 2646
HDFS(Hadoop Distributed File System) 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
一张图连通Hadoop三大组件运行机制（HDFS、MapReduce、Yarn）
smallUmbralla的博客
11-22 957
原来Yarn是这样贯通Hadoop的。
【图解大数据技术】Hadoop、HDFS、MapReduce、Yarn
weixin_43889578的博客
06-29 2952
MapReduce是一个分布式离线计算框架，专门用于处理大数据场景中与实时性无关的一些离线计算任务。MapReduce的数据输入一般是HDFS，然后经过InputFormat进行输入格式化，变成格式；然后执行用户实现的Mapper类型的map方法，进行数据映射，映射处理的结果也是格式；然后执行一个shuffle过程，对映射结果进行按key进行分组分区，把同一区域的所有KV发送到同一个Reducer，由一个节点进行；Reducer对同一个key分组下的所有value进行聚合操作；
Hadoop 生态系统核心组件详解：从 HDFS 到 YARN 再到 MapReduce
威哥说编程
11-28 2482
Hadoop 是一个开源的分布式计算框架，主要用于处理海量数据。Hadoop 生态系统包括多个核心组件，其中最为关键的三个组件是和。这三者各自承担着不同的职责，并且密切协作，共同完成大规模数据存储与计算任务的处理。本文将详细介绍这三个核心组件的工作原理、架构设计、它们之间的协作关系以及它们在大数据处理流程中的角色。我们将深入分析每个组件如何确保高效的数据存储、资源调度与分布式计算，同时通过代码示例帮助读者理解如何利用 MapReduce 编程模型处理大规模数据。
大数据技术全栈学习与实践项目_包含Python基础与数据分析库Shell脚本编程Hadoop生态组件HDFSYARNMapReduce数据仓库工具HiveHBas.zip
最新发布
07-28
大数据技术全栈学习与实践项目_包含Python基础与数据分析库Shell脚本编程Hadoop生态组件HDFSYARNMapReduce数据仓库工具HiveHBas.zip
MapReduce 原理、过程详解与优化 Yarn Hdfs Mapreduce 三者联系
weixin_41734687的博客
10-25 3383
参考文档 一 Mapreduce Yarn Hdfs三者联系 （比喻有不恰当的地方，但更容易理解三者之间的关系） Mapreduce，Yarn，Hdfs三者之间的关系，可以用电脑来进行解释。大体可以理解为：windows系统电脑上的一个视频播放软件（mapreduce），通过windows操作系统（yarn）找到存在电脑硬盘（hdfs）上的电影，然后视频播放器播放电影 Yarn 相当于电脑的操作...
hadoop学习记（2）--HDFS+yarn+MapReduce关系与原理
菜 头笔记
12-22 1万+
什么是hadoop? Hadoop无非就是：HDFS(文件系统)，yarn(任务调配)，mapReduce(编程模型，大数据并行运算)，我们安装完hadoop就已经包括了以上； Hadoop集群其实就是HDFS集群，说到HDFS,下面来谈谈什么是HDFS HDFS其实就是个文件系统，和fastDFS类似，像百度云，阿里云等就是个文件存储系统，当然一般如果仅仅是为了用来存储文件的话直接fast
HDFS、YARN、Mapreduce简介
weixin_34417814的博客
10-10 640
一、 HDFS介绍： Hadoop2介绍 HDFS概述 HDFS读写流程 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要运用于分...
在hadoop2.x中的三大核心组件之HDFS和YARN、MapReduce
u011441473的专栏
03-11 6215
Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager （3）MapReduce:分布式计算框架（它其实是一个应用程序开发包）。 （MapRe...
Hadoop基础--HDFS/Yarn/MapReduce概述
FunnyPrince_的博客
05-19 590
1. Hadoop优势(4高)： 1.高可靠性： Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失； **2.高扩展型：**在集群间分配任务数据，可方便的扩展数以千计的节点； **3.高效性：**在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度； **4.高容错性：**能够自动将失败的任务重新分配。 2. Hadoop1.x、2.x、3.x区别： 在Hadoop1.x时代，Hadoop中的MapReduce同时处理
hadoop的三大核心组件之HDFS和YARN
热门推荐
Zonzereal的博客
09-26 2万+
Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /N
Hadoop三大核心组件——HDFS、YARN、MapReduce原理解析
笑里笑外~
11-18 1万+
Hadoop 文章目录Hadoop一、 简介二、工作原理1.HDFS原理组成介绍执行流程图2.YARN原理组成介绍执行流程图3.MapReduce原理什么是MapReduce完整工作流程图流程详细描述MapTask流程Shuffle流程Reduce Task流程总结 一、 简介 Hadoop主要在分布式环境下集群机器，获取海量数据的处理能力，实现分布式集群下的大数据存储和计算。 其中三大核心组件: HDFS存储分布式文件存储、YARN分布式资源管理、MapReduce分布式计算。 二、工作原理 1.HD
大数据-Hadoop：HDFS、YARN、MapReduce三者关系
u013250861的博客
04-02 396
HDFS、YARN、MapReduce三者关系。
MapTask、ReduceTask工作机制
liu_1221的博客
09-12 546
——尚硅谷视频笔记 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。 （3）Collect收集阶段：在用户编写...
大数据学习之路 Hadoop原理篇（1）：Yarn架构和HDFS相关原理
小卧底的博客
08-31 811
Hadoop原理篇 前言 IT技术的学习就像武侠中练武功一样，练武不练功到老一场空。阳哥教育我们，不要单纯的做API调用工程师，学一些不易变的原理，做一个有内涵的程序员。 正文 什么是Hadoop？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决：海量数据的存储和海量数据的分析计算问题 从广义上讲，Hadoop通常是指一个更广泛的概念-----Hadoop生态圈 Hadoop的优势 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障
hdfs yarn mapreduce大数据配置
01-09
### 关于HDFS、YARN和MapReduce的大数据集群配置教程最佳实践 #### HDFS 配置详解 对于HDFS而言，在Linux环境下运行时，其命令结构通常是在标准Linux命令前加上`hadoop fs` 或 `hdfs dfs`。例如，为了查看特定目录中的文件列表，可以使用如下命令[^1]: ```bash hadoop fs -ls /path/to/directory ``` 此命令允许管理员轻松管理分布式文件系统的资源。 #### YARN 的安装与配置 虽然未直接提及具体细节，但是基于对Hadoop生态系统的一般理解，YARN作为资源管理和调度框架，其部署往往紧随HDFS之后。这涉及到设置环境变量以及调整核心站点配置来启用YARN服务。重要的是确保所有节点上的Java版本一致，并正确设置了`JAVA_HOME`环境变量。 #### MapReduce 执行实例解析 当执行WordCount这样的经典案例程序时，可以通过提交JAR包给Hadoop集群完成作业。下面是一个具体的例子，展示了如何利用预打包好的MapReduce示例JAR来进行单词计数任务[^2]: ```bash [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output ``` 上述命令会读取位于HDFS `/input` 路径下的输入数据并将其处理后的结果保存至 `/output` 中。 #### 数据流概述 在整个过程中，MapReduce的工作原理是从HDFS获取原始数据，通过自定义的Mapper函数转换成键值对形式的数据集，接着经历Shuffle阶段重新组织这些中间件输出以便后续Reduction操作能够高效地汇总相同Key对应的Values集合。最终，Reducer产生的输出会被写回到HDFS中去[^3]. #### 性能优化建议 针对某些硬件条件有限的情况，适当降低内存分配可能是必要的措施之一。比如编辑`hadoop-env.cmd`脚本文件并将默认堆大小设定为更合理的数值可以帮助缓解因内存不足引起的问题[^4]： ```properties set HADOOP_HEAPSIZE=200 ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

C_x_330

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值