hadoop 2.6 源码 解读之 Fsimage 实现

最新推荐文章于 2021-11-30 11:31:29 发布
最新推荐文章于 2021-11-30 11:31:29 发布
阅读量379 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop源码 hadoop 大数据 hadoop 2.6 源码 解读 文章标签： hadoop 源码 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhixingheyi_tian/article/details/80097382

实现类 为 FSImage
主要有三个功能

  • 保存命名空间，NameNode内存中的namespace 保存在本地文件系统fsimage 文件中
  • 加载fsimage
  • 加载editlog

seen_txid:保存了日志重置时的最新的 transaction id，并不代表 Namenode 内存中最新的事务id

使用 protobuf 对 fsimage 文件 进行序列化

合并 fsimage 和 editlog 非常耗 I/O和 CPU 资源。在执行检查点操作期间，NameNode还需要限制其他用户对HDFS 的操作和访问。HDFS 将检查点操作从 Active NameNode 移到 Secondary Namenode 或者 StandBy NameNode（HA的情况下）

fsimage 保存的内容为：文件系统目录树、文件的数据块索引

Hadoop-2.4.1学习之创建fsimage和edits源码分析
skyWalker_ONLY
09-24 3238
在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。
hadoop 2.6 源码 解读之 HDFS小结
zhixingheyi_tian的博客
04-28 322
HDFS 文件 是 write-once-read-many ，不支持客户端的并行写操作。 租约（lease）机制保证了HDFS文件的互斥操作。 客户端写HDFS文件时，先从租约管理器（LeaseManager）申请一个租约，成为租约持有者，也就有了对该HDFS文件的独占权限 Hadoop 2.3 以上，新增了centralized Cache Management，允许用户将一些文件目...
Hadoop学习二十五：Hadoop-Hdfs FSImage源码
zy19982004的专栏
07-04 268
一. FSImage作用 加载硬盘镜像文件fsimage到内存。 加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。 保存内存中文件层次结构到硬盘文件fsimage中。 保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬...
FSimage源码剖析
METON的博客
08-08 3067
FSImage文件主要是用来存储hdfs文件系统元数据信息(文件及目录结构 组成文件的块的信息 副本数量信息等)，并且NameNode会定期将文件系统的命名空间元数据信息保存到fsimage文件中；以防止NameNode掉电或者进程崩溃；但是如果实时的将内存中的hdfs文件系统元数据信息保存同步到fsimage文件中，将会非常消耗资源且造成NameNode运行缓慢，所有NameNode会将命名空间的修改操作先保存在编辑日志editlogs中；然后定期合并fsimage和editlogs文件。...
Hadoop-3.1.2 源码阅读之 fsimage
荆棘鸟的博客
05-15 316
fsimage 是文件系统的快照，保存了文件系统在某一时刻的命名空间，namenode会定期将文件系统目录树以及文件和数据块的对应关系保存至fsimage文件中。同时使用editlog作为文件系统日志，记录文件系统的命名空间操作。fsimage和editlog都保存在磁盘中。 hdfs在启动时，会读取fsimage和editlog，生成hdfs的命名空间。然后每个一段时间或者当editlog大小...
HDFS源码分析之FSImage文件内容（一）总体格式
weixin_34259232的博客
04-29 567
FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻，在HA出现之前，NameNode因为各种原因宕机后，若要恢复或在其他机器上重启NameNode，重新组织元数据，就需要加载对应的FSImage文件、FSEditLog文件，并在内存中重做FSEditLog文件中的事务条...
hadoop 2.6 源码 解读之Namenode启停
zhixingheyi_tian的博客
05-04 378
NameNode类入口 public static void main(String argv[]) throws Exception { if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) { System.exit(0); } try { Stri...
Hadoop2.6版本的FSImage结构解析
JUSTlearnsomething的博客
11-19 1702
理解FSImage，首先需要理解INode。 下面是Hadoop2.6.0下的INode类图。 INode的源码如下 public abstract class INode implements INodeAttributes, Diff.Elementbyte[]>,     AuthorizationProvider.INodeAuthorizationInfo
Hadoop2.6下OIV源码分析
JUSTlearnsomething的博客
11-27 714
Hadoop2.6下OIV源码分析首先我们看下官方是如何介绍OIV的 The Offline Image Viewer is a tool to dump the contents of hdfs fsimage files to a human-readable format and provide read-only WebHDFS API in order to allow offline
HDFS fsimage文件解析与反解析
MAYIBO—BG的专栏
07-25 2935
参考： http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html https://blog.csdn.net/androidlushangderen/article/details/50937069 目录 概述 使用 命令使用说明 XMl Processor FileDis...
fsimage初始结构
08-17
FSIMAGE初始化文件结构，附带源码位置
hadoop源码中loadFSImage中的一个疑似bug
weixin_33919950的博客
01-07 118
为什么80%的码农都做不了架构师？>>> ...
HDFS追本溯源：HDFS操作的逻辑流程与源码解析 【SNN对fsimage和editslog文件的合并流程-------很重要】
Thinking
04-18 727
文章来源： http://demo.netfoucs.com/anzhsoft/article/details/23428475
镜像文件(fsimage)和编辑日志(Edits)介绍
一亩三分地
02-03 1万+
一、查看日志镜像文件内容 1）镜像文件的作用 通过查看上面的xml文件,可以知道镜像文件实际是存放的目录结构、文件属性等相关信息。另外也可以看到MD5校验文件，这个文件主要是用来判断镜像文件是否发生修改。fsimage文件是NameNode中关于元数据的镜像，一般称为检查点，它是在NameNode启动时对整个文件系统的快照。 fsimage文件是hadoop文件系统元数据的一个...
hadoop3.1.2版本中FsImage与Editslog合并解析
热门推荐
ywl470812087的博客
09-02 12万+
我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。随着存储文件的增多，NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢？ 　　在HDFS中主要是通过两个组件FSImage和EditsLog来实现metadat...
Fsimage和Edits概念
jiedaodezhuti的博客
04-30 1006
NameNode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件 fsimage_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid VERSION (1)Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。 (2)Edits文件:存放HDFS文件系统的所有更新操作的路径，文
hdfs读写流程
weixin_47032366的博客
11-30 1460
1.块 dfs.blocksize 默认128m 一桶水 1000 ml， 瓶子规格 100ml ==》 10瓶子 一桶水 1010 ml， 瓶子规格 100ml ==》 10+1=11瓶子 200ml ==》 5+1 =6瓶子 一个小电影 260m 1 128m 1 1 2 128m 2 2 3 4m -------=3块 伪分布式 1 DN节点, 副本数(dfs.replication) 1 : 3个块，实际存储空间是260m*...
解析fsimage文件（文件与数据块）
小小码农
06-03 2800
fsimage文件与editslog文件存储的路径  查看hdfs-site.xml属性： fsimage、editslog文件存储：（可多目录） dfs.namenode.name.dir /opt/data/name blk数据块文件：（可多目录） dfs.datanode.data.dir /opt/data/dn1,/opt/data/dn2 fsimage和editslog文件存储在dfs.namenode.name.dir的值下面。 /opt/data/name/current/
Hadoop HDFS概念以及查看fsimage和edit日志文件
大佛拈花的博客
08-24 1263
Hadoop的HDFS文件系统是采用主从结构的。master就是NameNode.NameNode不保存实际的操作数据，而是保存数据到数据块的映射，以及数据的操作记录。可以理解为NameNode就是fsimage+editlog。那么什么是fsimage呢？fs就是目录的意思，image就是图片，可以理解为目录树。就是文件映射到DataNode的记录树。editlog就是文件读写的记录。S...
深入解析Hadoop2.6源码：大数据处理系统剖析
"大数据处理系统: Hadoop源码分析 基于hadoop2.6" 本书《大数据处理系统: Hadoop源代码情景分析》由毛德操撰写，旨在深度剖析Hadoop 2.6版本的源代码，为读者提供一个深入了解大数据处理系统的设计与实现的窗口。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhixingheyi_tian

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值