hdfs元数据保存

最新推荐文章于 2025-01-15 08:00:00 发布

Java_Soldier

最新推荐文章于 2025-01-15 08:00:00 发布

阅读量1.1w

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：合并 namenode hadoop hdfs

本文链接：https://blog.youkuaiyun.com/Java_Soldier/article/details/78002829

hadoop 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了HDFS中NameNode如何保存元数据的过程，包括内存中的元数据、磁盘上的fsimage文件及edits文件的作用。同时详细描述了Secondary NameNode进行checkpoint的操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

====namenode如何保存元数据

1.nn对元数据的管理分为三部分，内存中完整的元数据，磁盘中接近完整的元数据镜像文件（fsimage），记录元数据操作信息的edits文件

2.snn通过配置，定时请求nn，进行checkpoint

3.nn接受到checkpoint请求，会立即滚动正在写的edits文件

4.snn从nn上下载fsimage和edits文件到snn磁盘上

5.snn将fsimage和edits文件加载到内存中，由于edits记录了操作日志，根据记录一条条的将fsimage合并成最新的元数据，并命名为fsimage.checkpoint

6.snn将新的文件上传到nn中，nn删除原有的元数据文件，并将新的元数据文件改名，存在磁盘中

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Java_Soldier

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HDFS对象存储服务：Ozone的元数据管理

走在前往架构师的路上

07-09

3136

前言HDFS作为一套成熟的分布式存储系统，它能够存储TB甚至，PB规模级别的数据。依托于如此强大的存储能力，目前越来越多的公司、企业已经开始将越来越多的数据往HDFS上迁移。但是当数据量达到一定规模，HDFS不见得能承受的了。可能有人有疑问了，刚刚不是说HDFS能支撑PB规模级别的数据吗，这不是自相矛盾的说法了？其实笔者在这里想说的是元数据管理会受到瓶颈，HDFS面对如此巨大的元数据信息，凭借单单

hdfs 元数据目录说明

OH LEI``

07-19

2650

在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘： $HADOOP_HOME/bin/hdfs namenode -format 格式化完成之后，将会在$dfs.namenode.name.dir/current目录下如下的文件结构 current/ |-- VERSION |-- edits_* |-- fsimage_0000000000008...

参与评论您还未登录，请先登录后发表或查看评论

8、NameNode和SecondaryNameNode工作原理

ZJ__ZFH的博客

09-10

1561

NN元数据工作机制

大数据

10-09

576

1. 2.

HDFS元数据解析

天天吃饭的专栏

04-08

6929

2.1 概述从形式上讲，元数据ke

深入HDFS——元数据管理

从知识输入到知识输出

01-15

1183

深入源码去加深对于NameNode元数据管理设计与实现的理解。

Hadoop技术HDFS元数据共7页.pdf.zip

11-21

了解了HDFS的元数据基础后，我们来看“Hadoop技术HDFS元数据共7页.pdf.zip”这个文件，它很可能包含了对HDFS元数据更深入的探讨，包括元数据的管理、优化、备份恢复策略、故障检测与恢复等方面。这个文件可能详细...

Hadoop技术-HDFS元数据.pptx

11-02

Fsimage是HDFS元数据的快照，它保存最新的元数据检查点，记录文件系统目录树以及文件与数据块的对应关系。Fsimage是HDFS元数据的核心组件，提供给用户一个统一的文件视图。 ### Editlog Editlog是在NameNode已经...

大数据 | HDFS 元数据持久化笔记

码农UP2U

11-29

3388

目录一、HDFS 架构简单介绍二、角色功能三、常用的持久化方案四、HDFS 元数据的持久化五、Secondary NameNode 的引入六、总结一、HDFS 架构简单介绍 HDFS 是一个主从（Master/Slaves）的架构，它由一个 NameNode 和一些 DataNode 组成。其中，NameNode 是主，DataNode 是从。文件元数据由 NameNode 负责存储和管理，且它维护了一个层次型的文件目录树；文件的数据由 DataNod...

HDFS架构-元数据分析

zhen_hero的博客

07-01

1554

五.HDFS架构大多数分布式大数据框架都是主从架构 HDFS也是主从架构Master|Slave或称为管理节点|工作节点主叫NameNode，中文称“名称节点” 从叫DataNode，中文称“数据节点” 5.1 NameNode 5.1.1 文件系统 file system文件系统：操作系统中负责管理文件、存储文件信息的软件具体地说，它负责为用户创建文件，存入、读取、修改、转储、删除文件等读文件 =&gt.

HDFS知识点(四) ———HDFS元数据管理

hxxjxw的博客

07-06

1520

元数据 元数据就是 HDFS的目录结构以及每个文件的BLOCK信息（id、副本系数、block存放在哪个DataNode上） 元数据存在什么地方对应配置 ${hadoop/tmp/dir}/name 在 name/current下，这些就是元数据 元数据存放在文件中 Secondary NameNode & checkpoint 一般情况下合并不会交给NameNode来操作的，因为客户端的所有请求都在Na...

备份HDFS元数据（Backing Up HDFS Metadata）

weixin_33841722的博客

03-01

517

2019独角兽企业重金招聘Python工程师标准>>> ...

大数据技术思想入门(四)：分布式文件的元数据是怎么存储的

spark_tang的博客

08-25

2482

如果你不喜欢阅读文字的话，可以选择滑到最后看视频讲解哟~~~ 我们知道主节点主要存储的元数据包括：所有从节点的元数据信息，包括从节点的数量、每个节点的 IP 地址以及使用情况等信息所有分布式文件的元数据信息，包括文件名、大小等基础信息，还有文件对应的数据块的元数据信息对于存储的从节点的元数据信息很好理解。就是当从节点启动的时候，会将自己的 IP 地址、自己的磁盘总大小以及使用情况告诉主节点。对于文件的元数据的存储和管理相对来说复杂点，这篇文章我们就要说明白主节点中存储的文..

HDFS之namenode管理元数据机制及一些问题

成都往右的博客

10-05

6161

HDFS之namenode管理元数据机制及一些问题

关于HDFS元数据块丢失解决办法

lukabruce的博客

01-31

8855

缘由：由于失误，误将hadoop.tmp.dir指定文件夹下的filecache文件删除了，由此导致存储在hdfs集群的元数据丢失，造成hadoop集群启动之后一直处于安全模式开启状态。 //查询Hadoop集群安全模式状态 [hadoop@hadoop01 ~]$hdfs dfsadmin -safemode get //开启Hadoop集群安全模式状态 [hadoop@hadoop0...

Hadoop元数据存储、加载、恢复

雾幻的博客

03-27

5377

1. 元数据加载为了保证交互速度，HDFS文件系统的metadata是被load到namenode机器的内存中的。并会将内存中的这些数据保存到磁盘进行持久化存储，但对块的位置信息不进行持久化存储，在DataNode向namenode进行注册时动态加载。当NameNode启动时，它从硬盘中读取Editlog和FsImage。将所有Editlog中的事务作用在内存中的FsImage上，以恢...

hdfs元数据磁盘存储文件分类

jump_tigris的博客

08-01

1409

元数据文件分为5种类型： 1）edits_**** 历史日志文件记录的是元数据的所有执行的操作日志 hadoop fs -mkdir /aa/ss edits_**** 文件中就会记录一条日志数据 hadoop 16:34 mkdir /aa/ss 记录操作 2）edits_inprogress_0000000000000000255 正在编辑的日志文件目前正在接受客户端写元数据请求的文件...

《高可用的HDFS》——元数据备份方案

HelloWorld

11-16

2315

元数据备份目录项主要涉及的场景： 1、NameNode启示时，从元数据备份目录中检查最新的fsimage和edits，读取到内存合并，然后将fsimage写回到指定的备份目录，并且重置edits 2、元数据更新时，NameNode将日志写入edits 3、做cheakpoint时，namenode将checkpoint好的fsimage写回，并重新配置edits 1、nn启动加载元

HDFS文件元数据信息管理模块

流云

03-10

832

转自:http://blog.youkuaiyun.com/sxf_824/article/details/4842196 设计思想 HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block，并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息（文件目录结构，具体文件由那些block组成），...

hdfs元数据

最新发布

07-02

HDFS（Hadoop Distributed File System）的元数据管理与存储机制是其核心组成部分之一，主要由 NameNode 负责。NameNode 存储了文件系统的命名空间信息，包括目录结构、文件属性（如权限、修改时间等）、文件到数据块（Block）的映射关系以及数据块的位置信息[^3]。 ### HDFS 元数据结构 HDFS 的元数据主要包括以下几类信息： - **文件和目录的 inode 信息**：每个文件或目录在 HDFS 中都有一个对应的 inode，其中包含文件的大小、副本数、权限、创建时间、修改时间等属性。 - **文件与数据块的映射关系**：记录每个文件由哪些数据块组成。 - **数据块与 DataNode 的映射关系**：记录每个数据块存储在哪些 DataNode 上。这些信息构成了 HDFS 文件系统的完整元数据模型，并由 NameNode 维护。 ### NameNode 存储机制 NameNode 使用两种主要类型的文件来持久化存储元数据： 1. **FsImage 文件**：这是一个检查点文件，包含了 HDFS 文件系统某一时刻的完整元数据快照。它是一个静态的镜像文件，记录了文件系统的整个目录树及其所有文件的元数据信息[^2]。 2. **Edits 日志文件**：用于记录对文件系统的所有更改操作（如创建文件、删除文件、追加数据等）。每当有新的写操作发生时，这些变更首先会被记录到 Edits 文件中，然后再应用到内存中的元数据结构上[^4]。 NameNode 在运行时将元数据同时保存在内存和磁盘中。内存中的元数据用于快速访问和更新，而磁盘上的 FsImage 和 Edits 文件则用于故障恢复和持久化存储。这种方式既保证了高性能的数据访问速度，也确保了元数据的安全性和一致性[^2]。 ### 元数据合并流程为了防止 Edits 文件无限增长，Hadoop 引入了 SecondaryNameNode（在 Hadoop 2.x 及以后版本中被 Standby NameNode 替代）来定期合并 FsImage 和 Edits 文件。具体流程如下： 1. SecondaryNameNode 通过 HTTP 协议从 NameNode 获取当前的 FsImage 和 Edits 文件。 2. 在本地进行合并操作，生成一个新的 FsImage 文件。 3. 将新生成的 FsImage 文件上传回 NameNode，并替换旧的 FsImage 文件。 4. 清空旧的 Edits 文件，开始新一轮的日志记录。这一过程有效地减少了 NameNode 启动时需要重放的日志量，提高了系统的可用性和稳定性[^5]。 ### 示例代码：查看 HDFS 元数据信息可以通过 Hadoop 提供的 `hdfs fsck` 命令来检查文件系统的健康状况并查看元数据相关信息。例如： ```bash hdfs fsck / -files -blocks -locations ``` 该命令会列出根目录下所有文件的信息，包括文件对应的 Block ID、副本数量以及每个 Block 所在的 DataNode 位置。此外，也可以使用 Java API 来获取文件的元数据信息： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; public class HdfsMetadataExample { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); FileSystem fs = FileSystem.get(conf); Path path = new Path("/user/hadoop/example.txt"); FileStatus status = fs.getFileStatus(path); System.out.println("File Path: " + status.getPath()); System.out.println("File Length: " + status.getLen()); System.out.println("Replication Factor: " + status.getReplication()); System.out.println("Block Size: " + status.getBlockSize()); System.out.println("Modification Time: " + status.getModificationTime()); fs.close(); } } ``` 这段代码展示了如何使用 Hadoop 的 Java API 获取指定文件的基本元数据信息，包括路径、长度、副本因子、块大小以及最后修改时间等。 ---