简述mapreduce的四个对象

本文介绍了MapReduce系统的四个核心组件:客户端、JobTracker、TaskTracker和HDFS的作用与职责。客户端负责编写并提交作业,JobTracker负责初始化和协调作业执行,TaskTracker执行具体的Map或Reduce任务,而HDFS则用于存储作业数据和结果。

mapreduce的四个对象:客户端(client),JobTracker,TaskTracker,Hdfsg

1.客户端(client)

  编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作。

2.JobTracker

  初始化作业,分配作业,与TaskTracker通信,协调整个作业的执行。

3.TaskTracker

  保持与JobTracker通信,在分配的数据片段上执行Map或Reduce任务,TaskTracker和JobTracker的不同有个很重要的方向,

就是在执行任务的时候TaskTracker可以用n多个,JobTracker则只会有一个(JobTracker只能有一个,就和hdfs里namenode一样

存在单点故障)。

4.Hdfs

  保存作业的数据、配置信息等等,最后的结果也是保存在hdfs上面

  

 

转载于:https://www.cnblogs.com/Zchaowu/p/7360565.html

MapReduce是一种编程模型和一个分布式计算框架,由Google开发并开源,主要用于大规模数据集的并行处理。它将复杂的计算任务分解成一系列简单的“map”和“reduce”步骤,使得数据可以在集群上分布式地处理。Map阶段对输入数据进行分割,应用用户提供的映射函数;Reduce阶段则将中间结果合并,应用用户指定的聚合函数。YARN(Yet Another Resource Negotiator)是Apache Hadoop项目的一个重要组件,全称为“ Yet Another Node Manager”,是Hadoop 2.x版本引入的新资源管理器。 YARN的主要功能是将Hadoop的计算资源抽象成统一的资源池,它替代了早期版本中的单一进程ResourceManager。YARN的设计允许系统同时运行多个应用程序,并能够动态调整资源分配,提高了集群的利用率和灵活性。YARN包括三个关键组件: - **NodeManager**: 运行在每个节点上的进程,负责监控本地资源,管理和调度容器(container)给各个申请资源的应用。 - **ResourceManager (RM)**: 负责全局的资源调度,协调跨节点的资源分配,以及维护队列信息。 - **ApplicationMaster (AM)**: 每个MapReduce作业启动后都会创建一个AM,它与RM通信,请求所需的资源,然后控制作业的具体执行过程。 简而言之,MapReduce是处理大数据的任务,而YARN则是提供了一个可扩展的平台来支持MapReduce和其他计算框架(如Spark)在Hadoop环境下的运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值