Hadoop中各节点的含义

最新推荐文章于 2025-05-21 08:30:00 发布

原创最新推荐文章于 2025-05-21 08:30:00 发布 · 1.1w 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop各节点的作用

Hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了Hadoop系统中的核心组件，包括Namenode、Datanode、Secondarynode、Resourcemanager和Nodemanager的功能和作用。阐述了这些组件如何协同工作以实现高效的大数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Namenode

目录的管理者，每一个集群都有一个，记录实时的数据变化，如果没有namenode，HDFS就无法工作，系统中的文件将会全部丢失，就无法将位于不同datanode上的文件快（blocks）重建文件。因此它的容错机制很有必要。

它主要负责：

接收用户的请求；
维护文件系统的目录结构；
管理文件与Block之间的练习；

2.Datanode

是文件系统的工作节点，他们根据客户端或者是namenode的调度存储和检索。，并且定期向namenode发送他们所存储的块(block)的列表。

集群中的每个服务器都运行一个DataNode后台程序，这个后台程序负责把HDFS数据块读写到本地的文件系统。当需要通过客户端读/写某个数据时，先由NameNode告诉客户端去哪个DataNode进行具体的读/写操作，然后，客户端直接与这个DataNode服务器上的后台程序进行通信，并且对相关的数据块进行读/写操作。

它主要负责：

存放数据；
文件被分割以Block的形式被存储在磁盘上；

3.Secondarynode

SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样，每个集群都有一个SecondaryNameNode，并且部署在一个单独的服务器上。SecondaryNameNode不同于NameNode，它不接受或者记录任何实时的数据变化，但是，它会与NameNode进行通信，以便定期地保存HDFS元数据的快照。由于NameNode是单点的，通过SecondaryNameNode的快照功能，可以将NameNode的宕机时间和数据损失降低到最小。同时，如果NameNode发生问题，SecondaryNameNode可以及时地作为备用NameNode使用。

它主要将namenode image（fsimage）和Edit log合并的。

这两个文件的作用：

fsimage包含Hadoop文件系统中的所有目录和文件idnode的序列化信息，其中对于文件包含了文件的修改时间、访问时间、块大小和组成一个文件块信息等。对于文件夹而言包含的信息主要有修改时间、访问控制权限等信息。而Edits文件主要是进行客户端对文件操作的记录，比如上传新文件等。并且edits文件会定期与fsimage文件进行合并操作。

当客户端执行写操作，则NameNode会在edit log记录下来，并在内存中保存一份文件系统的元数据。

要注意，fsimage文件是文件系统元数据的持久化检查点，不会在写操作后马上更新，这是因为fsimage的写入是非常缓慢的。

由于Edit log不断增长，在NameNode重启时，会造成长时间NameNode处于安全模式，不可用状态，是非常不符合Hadoop的设计初衷。所以要周期性合并Edit log，但是这个工作由NameNode来完成，会占用大量资源，这样就出现了Secondary NameNode，它可以进行image检查点的处理工作。步骤如下：

（1）SecondaryNameNode请求NameNode进行edit log的滚动（即创建一个新的edit log），将新的编辑操作记录到新生成的edit log文件；

（2）通过http get方式，读取NameNode上的fsimage和edits文件，到SecondaryNameNode上；

（3）读取fsimage到内存中，即加载fsimage到内存，然后执行edits中所有操作，并生成一个新的fsimage文件，即这个检查点被创建；

（4）通过http post方式，将新的fsimage文件传送到NameNode；

（5）NameNode使用新的fsimage替换原来的fsimage文件，让（1）创建的edits替代原来的edits文件；并且更新fsimage文件的检查点时间。

整个处理过程完成。

SecondaryNameNode的处理，是将fsimage和edites文件周期的合并，不会造成nameNode重启时造成长时间不可访问的情况。