hdfs元数据保存

HDFS元数据管理机制

最新推荐文章于 2025-02-26 10:21:15 发布

原创最新推荐文章于 2025-02-26 10:21:15 发布 · 1.1w 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#合并 #namenode #hadoop #hdfs

hadoop 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了HDFS中NameNode如何保存元数据的过程，包括内存中的元数据、磁盘上的fsimage文件及edits文件的作用。同时详细描述了Secondary NameNode进行checkpoint的操作步骤。

====namenode如何保存元数据

1.nn对元数据的管理分为三部分，内存中完整的元数据，磁盘中接近完整的元数据镜像文件（fsimage），记录元数据操作信息的edits文件

2.snn通过配置，定时请求nn，进行checkpoint

3.nn接受到checkpoint请求，会立即滚动正在写的edits文件

4.snn从nn上下载fsimage和edits文件到snn磁盘上

5.snn将fsimage和edits文件加载到内存中，由于edits记录了操作日志，根据记录一条条的将fsimage合并成最新的元数据，并命名为fsimage.checkpoint

6.snn将新的文件上传到nn中，nn删除原有的元数据文件，并将新的元数据文件改名，存在磁盘中

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Java_Soldier

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HDFS对象存储服务：Ozone的元数据管理

走在前往架构师的路上

07-09

3169

前言HDFS作为一套成熟的分布式存储系统，它能够存储TB甚至，PB规模级别的数据。依托于如此强大的存储能力，目前越来越多的公司、企业已经开始将越来越多的数据往HDFS上迁移。但是当数据量达到一定规模，HDFS不见得能承受的了。可能有人有疑问了，刚刚不是说HDFS能支撑PB规模级别的数据吗，这不是自相矛盾的说法了？其实笔者在这里想说的是元数据管理会受到瓶颈，HDFS面对如此巨大的元数据信息，凭借单单

Hadoop知识概要

TU_JCN的博客

07-07

2903

hdfs/mapredce/yarn/zookeeper

参与评论您还未登录，请先登录后发表或查看评论

8、NameNode和SecondaryNameNode工作原理

ZJ__ZFH的博客

09-10

1585

NN元数据工作机制

大数据

10-09

588

1. 2.

hdfs文件存储格式

11-13

4769

hdfs 文件存储格式 hdfs 文件存储格式分为两大类行存储和列存储行存储,将一整行存储在一起,是一种连续的存储方式,例如SequenceFile,MapFile,缺点是如果只需要行中的某一列也必须把整行都读入内存当中列存储列存储会把文件切割成若干列,每一列存储在一起,是需要...

深入HDFS——元数据管理

从知识输入到知识输出

01-15

1295

深入源码去加深对于NameNode元数据管理设计与实现的理解。

Hadoop技术HDFS元数据共7页.pdf.zip

11-21

了解了HDFS的元数据基础后，我们来看“Hadoop技术HDFS元数据共7页.pdf.zip”这个文件，它很可能包含了对HDFS元数据更深入的探讨，包括元数据的管理、优化、备份恢复策略、故障检测与恢复等方面。这个文件可能详细...

Hadoop技术-HDFS元数据.pptx

11-02

Fsimage是HDFS元数据的快照，它保存最新的元数据检查点，记录文件系统目录树以及文件与数据块的对应关系。Fsimage是HDFS元数据的核心组件，提供给用户一个统一的文件视图。 ### Editlog Editlog是在NameNode已经...

大数据 | HDFS 元数据持久化笔记

码农UP2U

11-29

3429

目录一、HDFS 架构简单介绍二、角色功能三、常用的持久化方案四、HDFS 元数据的持久化五、Secondary NameNode 的引入六、总结一、HDFS 架构简单介绍 HDFS 是一个主从（Master/Slaves）的架构，它由一个 NameNode 和一些 DataNode 组成。其中，NameNode 是主，DataNode 是从。文件元数据由 NameNode 负责存储和管理，且它维护了一个层次型的文件目录树；文件的数据由 DataNod...

HDFS架构-元数据分析

zhen_hero的博客

07-01

1585

五.HDFS架构大多数分布式大数据框架都是主从架构 HDFS也是主从架构Master|Slave或称为管理节点|工作节点主叫NameNode，中文称“名称节点” 从叫DataNode，中文称“数据节点” 5.1 NameNode 5.1.1 文件系统 file system文件系统：操作系统中负责管理文件、存储文件信息的软件具体地说，它负责为用户创建文件，存入、读取、修改、转储、删除文件等读文件 =&gt.

hdfs-元数据测试

10-23

本文重在探索hdfs分布式文件系统的元数据合并及更新原理。

HDFS中NameNode节点的配置、备份和恢复.doc

06-10

详细讲解了Hdfs中NameNode节点的配置,备份和恢复,以及secondNamenode的配置

HDFS中如何存储元数据

qq_42456324的博客

09-10

2370

或磁盘元数据存储磁盘: 存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应，但是安全性高元数据存储内存：元数据存放内存，可以高效的查询以及快速响应客户端的查询请求，数据保存在内存，如果断电，内存中的数据全部丢失因此，考虑上述两种存储方式的优缺点，HDFS采用了内存+磁盘的形式来管理元数据。

HDFS数据存储与数据管理

qq_41206014的博客

02-26

1315

HDFS数据存储与数据管理

HDFS元数据管理机制

涛博

02-20

8822

一、元数据管理概述 HDFS 元数据，按类型分，主要包括以下几个部分： 1、文件、目录自身的属性信息，例如文件名，目录名，修改信息等。 2、文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等。 3、记录 HDFS 的 Datanode 的信息，用于 DataNode 的管理。按形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上 HDFS 磁盘上元数据文件分...

HDFS Datanode数据存储格式分析

02-13

616

首先在Datanode中，每一个block都对应一个数据存储文件，数据存储文件以_blk开头；同时，每一个block还对应一个元数据文件，元数据文件以.meta结尾（注意：meta file的命名格式如下blokcFileName_generationStamp.meta）。首先将一下我理解的几个概念。在HDFS中有storage的概念，每一个节点对应一个storage。我们可以理解为一个

HDFS支持的存储格式及压缩算法？

TYM112的博客

07-02

3225

1.存储格式 (1) SequenceFile 以二进制键值对的形式存储数据,支持三种记录存储方式。. ➢无压缩: io效率较差，相比压缩，不压缩的情况下没有什么优势。 ➢记录级压缩:对每条记录都压缩，这种压缩效率比较一般。 ➢块级压缩: 这里的块不同于HDFS中的块的概念.这种方式会将达到指定块大小的二进制数据压缩为一个块。 (2) Avro 将数据定义和数据- -起存储在一条消息中，其中数据定义以JSON格式存储，数据以二进制格式存储。Avro 标记用于将大型数据集分割成适合MapReduce处理

HDFS NameNode元数据的存储方式和工作机制

weixin_43742704的博客

09-20

1120

NameNode元数据的存储方式 元数据的存储方式在物理上是以内存+磁盘的形式存储的，是通过FsImage和Edits合并形成元数据

HDFS的文件存储格式以及HDFS异构存储和存储策略

wxk的博客

10-09

8006

HDFS常见的文件存储格式。冷数据、热数据、暖数据、冻数据的异构存储。 HDFS块存储类型的选择策略：HOT 、COLD、WARM、LAZY_PERSIST 以及相关操作的方法。

hdfs元数据