Hadoop学习第4天——JobTracker TaskTracker

Hadoop架构解析

最新推荐文章于 2023-09-12 11:20:24 发布

原创最新推荐文章于 2023-09-12 11:20:24 发布 · 217 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Jobtracker #tasktracker

hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了Hadoop中的关键组件JobTracker和TaskTracker的功能，JobTracker负责接收、监控并管理MapReduce任务，而TaskTracker则在集群的计算节点上执行具体的map和reduce任务。此外，还详细解释了HDFS中的NameNode和DataNode的作用，前者负责文件系统的元数据管理和控制服务，后者提供数据块的存储和检索服务。

翻译《Pro Hadoop 》Jason Venner著，部分章节

JobTracker & TaskTracker

The framework provides two processes that handle the management of MapReduce jobs:
• TaskTracker manages the execution of individual map and reduce tasks on a compute
node in the cluster.
• JobTracker accepts job submissions, provides job monitoring and control, and manages
the distribution of tasks to the TaskTracker nodes.

MapReduce job的管理有两种：TaskTracker 和JobTracker

TaskTracker ——map和reduce任务的执行

JobTracker ——map和reduce任务的接受，监控和管理TaskTracker 的分布式任务

1个节点上有1个JobTacker，但有1个或以上的TaskTracker，

NameNode & DataNode

HDFS services are provided by two processes:HDFS服务提供2个进程
• NameNode handles management of the file system metadata, and provides management
and control services.
• DataNode provides block storage and retrieval services.

NameNode提供管理，文件系统元数据，管理和监控服务，DataNode用于数据存储和检索服务