Hadoop中的NameNode和SecondaryNameNode功能剖析

最新推荐文章于 2024-08-03 19:45:00 发布
原创 最新推荐文章于 2024-08-03 19:45:00 发布
· 948 阅读 · 1 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #大数据

本文详细解析Hadoop中的NameNode和SecondaryNameNode的工作机制，以及FSImage和edits文件在元数据管理中的作用。NameNode负责元数据管理，元数据存储于内存并持久化到FSImage和edits。SecondaryNameNode执行定期检查点合并FSImage和edits，确保元数据安全。同时，文章探讨了元数据信息的查看方法和多目录配置以增强可靠性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、NameNode与SecondaryNameNode解析

1、NameNode工作机制

2、Secondary NameNode工作

二、FSImage与edits详解

一、NameNode与SecondaryNameNode解析

  • NameNode主要负责集群当中的元数据信息管理，而且元数据信息需要经常随机访问，因为元数据信息必须高效的检索，那么如何保证namenode快速检索呢？？元数据信息保存在哪里能够快速检索呢？？如何保证元数据的持久安全呢？？

  • 为了保证元数据信息的快速检索，那么我们就必须将元数据存放在内存当中，因为在内存当中元数据信息能够最快速的检索，那么随着元数据信息的增多（每个block块大概占用150字节的元数据信息），内存的消耗也会越来越多。

  • 如果所有的元数据信息都存放内存，服务器断电，内存当中所有数据都消失，为了保证元数据的安全持久，元数据信息必须做可靠的持久化，在hadoop当中为了持久化存储元数据信息，将所有的元数据信息保存在了FSImage文件当中，那么FSImage随着时间推移，必然越来越膨胀，FSImage的操作变得越来越难，为了解决元数据信息的增删改，hadoop当中还引入了元数据操作日志edits文件，edits文件记录了客户端操作元数据的信息，随着时间的推移，edits信息也会越来越大，为了解决edits文件膨胀的问题，hadoop当中引入了secondaryNamenode来专门做fsimage与edits文件的合并

最低0.47元/天 解锁文章
DataNode 和 NameNode
qq_41081716的博客
08-27 1012
NameNode是 HDFS 的核心管理和控制中心，负责维护文件系统的元数据和命名空间信息。DataNode负责存储实际的数据块，并响应客户端的读写请求。这种设计使得 HDFS 能够在大量廉价硬件上构建大规模的分布式文件系统，同时保持数据的可靠性和高可用性。
大数据框架Hadoop：第一章 HDFS分布式文件系统(一)【NameNode和SecondaryNameNode】
qq_34577182的博客
12-13 2241
第一章 Hadoop 分布式文件系统HDFS 第一代大数据框架Hadoop由：HDFS分布式文件系统、MapReduce计算框架和YARN资源调度框架组成，本文为学习HDFS分布式文件系统时记录的学习笔记。 文章目录第一章 Hadoop 分布式文件系统HDFS前言一、什么是Hadoop?1.hadoop的发展历史起源介绍2.hadoop的发展历史起源构二、HDFS分布式文件系统1.分布式文件系统的理解2.hdfs的架构详细剖析1. 文件分块存储&3副本2. 抽象成数据块的好处3.HDFS架构3.h
NameNode and SecondaryNameNode have different heapsizes
qq_41060328的博客
12-28 3441
NameNode and SecondaryNameNode have different heapsizes CDH manager页面警告NameNode and SecondaryNameNode have different heapsizes，需要将Namenode java堆大小和se'condary Namenode java堆大小设置一致
HDFS的NameNode功能
热门推荐
dong515299210的博客
08-15 1万+
NameNode主要功能： 1、NameNode主要功能：接受客户端的读写服务 2、NameNode保存metadata信息：       - 文件owership和permissions       - 文件包含哪些块       - Block保存在那个DataNode上（DameNode启动的时候主动把block汇报给NameNode）。 3、NameNode的metadata信...
NameNode作用
weixin_45748397的博客
11-05 7432
HDFS-NameNode作用一共分为三点 一、维护管理HDFS集群中文件系统的名字空间(元数据信息) 列如打开文件系统、关闭文件系统、重命名文件或者目录等. 二、Namenode节点负责确定指定的文件块到具体的Datanode结点的映射关系。在客户端与数据节点之间共享数据。 三、管理Datanode结点的状态报告，包括Datanode结点的健康状态报告和其所在结点上数据块状态报告，以便能够及时...
11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1
08-03
在Hadoop大数据存储系统中，HDFS（Hadoop Distributed File System）是核心组件之一，用于分布式存储大量数据。NameNode是HDFS的核心节点，负责管理文件系统的元数据，包括文件和目录的命名空间以及文件的块映射信息...
Hadoop技术入门：NameNode, SecondaryNameNode, DataNode解析
"Hadoop开发者入门，介绍Hadoop的体系结构，包括NameNode、SecondaryNameNode、DataNode和TaskTracker、JobTracker的角色，并提及Hadoop技术论坛的信息和2010年初创刊的《Hadoop开发者》杂志" 在深入探讨Hadoop...
Hadoop之NN和2NN
最新发布
weixin_57342469的博客
08-03 1276
NameNode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。但是此刻，NameNode运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。
Hadoop-HDFS（读写）数据流程
weixin_45034290的博客
02-22 318
这里写自定义目录标题文件写入读文件Namenode 和Secondnamenode2NN机制Fimage和Edits故障处理Datanode副本节点选择(hadoop2.7.2) 文件写入 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为
namenode功能与作用机制
m0_62739609的博客
12-07 6395
namenode作用与机制 作为整个HDFS集群和文件系统的管理者，namenode的功能主要可总结为以下四点 1、管理HDFS的命名空间，并以fsimage进行持久化保存。 HDFS命名空间即文件目录树及其目录与文件的元数据，为了处理的高效性，namenode会在内存中维护这部分元数据，同时为了安全性，也需要将这些数据永久化到磁盘中，具体则是通过fsimage和edits两个文件进行实现 fsimage 是命名空间镜像文件，是文件系统元数据的完整的永久检查点，可理解为文件系统的存档或者快照，由于文件系统往
hadoop namenode的功能
小爷欣欣
05-03 5833
namenode节点非常的重要,它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata) a:管理文件系统的命名空间(最重要的工作)文件的名字，大小，元数据，文件在节点的情况 b:记录每个文件数据块在各个Datanode的位置和副本信息 当有节点要访问某个文件的时候，它会先访问namenode，获取文件的位置信息，...
HDFS学习笔记（二）——NameNode和SecondNameNode
qq_36139822的博客
12-23 508
介绍了HDFS中NameNode哈SecondaryNameNode的工作流程，和所涉及的文件edits与fsimage的存在形式。
【HDFS】NameNode 和 SecondaryNameNode 详解
风口IT猪的成长录
09-06 574
NameNode 和 SecondaryNameNode1. NN 和 2NN 工作机制2. Fsimage 和 Edits 解析1）oiv 查看 Fsimage 文件2）oev 查看 Edits 文件3. CheckPoint 时间设置 1. NN 和 2NN 工作机制 思考：NameNode 中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。 因此，元数据需要存放在内存中。但如果只存在内存中，一旦断
Hadoop：NameNode和SecondaryNameNode
学习记录和总结
05-26 1万+
NameNode和SecondaryNameNode工作机制详解
hadoop secondarynamenode的作用
lskyne的专栏
05-07 1万+
1、初学者会见名思义的认为secondarynamenode是namenode的备份其它的，或者认为它们是一样的。实质上，它是namenode的一个快照，会根据configuration中设置的值来决定多少时间周期性的去spap一下namenode，记录namenode中的metadata及其它数据。 2、假使namenode损坏或丢失之后，无法启动hadoop这时就要人工去干预恢复到secon
HDFS- NameNode&SecondaryNode
Piepis的博客
08-07 408
2NN与NN之间的关系 思考：NameNode中的元数据时存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有相应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又带来了新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因
Hadoop之HDFS分布式文件系统NameNode及Secondary NameNode详解
hengzq的博客
07-07 2295
一、NameNode启动时如何维护元数据： 概念介绍：        Edits文件：NameNode在本地操作系统的文件都会保存在Edits日志文件中。也就是说当文件系统中的任何元数据产生操作时，都会记录在Edits日志文件中。eg：在HDFS上创建一个文件，NameNode就会在Edits中插入一条记录。同样如果修改或者删除等操作，也会在Edits日志文件中新增一条数据。
Hadoop的Secondary NameNode(1)
Developing Hadoop-based applications
11-19 130
Secondary NameNode NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsima...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值