Hadoop1.X和Hadoop2.X的运行架构详解_hadoop1.x 架构-优快云博客

本文链接：https://blog.youkuaiyun.com/SlimShadyKe/article/details/89892237

本文详细介绍了Hadoop1.X和2.X的运行架构。在Hadoop1.X中，Job Tracker负责调度和资源管理，存在单点故障问题。Hadoop2.X引入YARN，分离资源管理和任务调度，由ResourceManager和ApplicationMaster协同工作，解决了1.X的弊端，实现了资源复用和多计算框架支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop1.X运行架构

在这里插入图片描述

首先了解，Job Tracker和Task Tracker都是常服务

客户端先和HDFS交互，取到文件的block块信息，由客户端将block按照配置切成split切片，切片的大小完全由配置决定，可以和block块大小相等，也可以大于或者小于。因为客户端获取到的block块信息有偏移量和块的位置信息，所以产生的split切片也会有block所在的位置信息和便宜量，由此获得了文件的split切片清单。又因为split数量和map的数量是一对一的，因此在此时客户端就已经知道了需要多少个map来处理这个任务。第二点，客户端会将jar包、配置信息以及切片清单上传到HDFS的某个目录中，而且副本数为10，由此如果有很多map来拉取的时候可以到不同的节点拉取，避免多个map到一个节点读取文件信息的时候单个节点的资源受限问题。第三点，客户端会连接Job Tracker，让Job Tracker完成MapTask和ReduceTask的调度，所以Job Tracker有一个作用是调度所有作业，此外，Job Tracker会接收来自Task Tracker汇报的各个DataNode节点上的资源情况，所以Job Tracker的另一个作用就是集群的资源管理。
　所以Hadoop1.X中客户端，Job Tracker和Task Tracker的作用分别如下：
　Job Tracker：核心，主，单点
　　　1）调度所有作业
　　　2）监控集群的