secondary namenode元数据同步

最新推荐文章于 2022-09-20 11:45:52 发布
原创 最新推荐文章于 2022-09-20 11:45:52 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#namenode #hdfs #合并

本文详细介绍了Hadoop中SecondaryNameNode如何同步NameNode的元数据信息。包括请求同步、滚动编辑日志、下载并合并编辑日志及fsimage文件、上传fsimage.checkpoint到NameNode等步骤。

secondary namenode（sn）同步namenode(nn)元数据的过程

  1. sn向nn请求是否需要同步元数据信息
  2. 如果需要同步，则nn会滚动当前正在写的edits.inprogressing
  3. sn把所有的edits文件和fsimage文件下载到sn（只有第一次同步会下载nn的fsimage文件，后面同步只需要下载edits文件即可）
  4. 在sn把edits文件和fsimage文件加载到内存合并成新fsimage文件，重命名为fsimage.checkpoint文件
  5. 把fsimage.checkpoint文件上传到nn上，并重命名为fsimage，整个元数据同步完成

大致流程如下图所示：

这里写图片描述

Secondary NameNode和HA（高可用）区别与联系
杨鑫newlife的专栏
01-14 1445
Secondary NameNode作用 Hadoop2中引入了HA功能（高可用），但是我们可以不配置高可用，继续使用Secondary NameNode(虽然HA比Secondary Node好用); 看SecondaryNameNode之前，我们先看看NameNode NameNode主要用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息在内存，也可...
检查hdfs数据大小_如何在HDFS中强制执行元数据检查点
cuma2369的博客
07-26 382
检查hdfs数据大小The metadata checkpointing in HDFS is done by the Secondary NameNode to merge the fsimage and the edits log files periodically and keep edits log size within a limit. For various reasons, th...
NameNode和SecondaryNameNode工作机制
lljazxx的博客
11-06 353
NameNode和SecondaryNameNode工作机制 第一阶段：NameNode启动 （1）第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode记录操作日志，更新滚动日志。 （4）NameNode在内存中对数据进行增删改查。 第二阶段：Seconda...
hadoop——SecondaryNameNode：元数据的存储与同步；Shuffle运行过程图解分析与Shuffle的combiner优化，compress压缩优化
蚂蚁
07-05 771
hadoop——SecondaryNameNode：元数据的存储与同步；Shuffle运行过程图解分析与Shuffle的combiner优化，compress压缩优化，hadoop计数器使用
010 secondary namenode（同步元数据和日志）
weixin_33753003的博客
10-22 152
1.格式化 　　首先格式化之后只剩下一个根目录。 　　格式化后会出现元数据 　　集群启动之后，元数据放在内存中的（消耗内存中） 　　格式化后会产生镜像文件fsimage，元数据存储 　　启动的时候namenode会读取镜像文件，知道整个系统的文件 　　在HDFS上的用户行为操作都会记录在编辑日志文件edits中（重要） 　　   2.启动 　　在启动的时候，首先读取fsimage，然后去读edit...
python入门教程2word-入门干货：Python操作Word文件经验分享
weixin_37988176的博客
11-01 299
原标题：入门干货：Python操作Word文件经验分享导读：Microsoft Word在当前使用中是占有巨大优势的文字处理器，这使得Word专用的档案格式Word 文件（.docx）成为事实上最通用的标准。在日常工作中，有些时候会有很多重复的工作，比如批量的替换、报名表、合同、邀请函等很多格式一样的文件，要对这些文件进行读写与汇总，程序员的智慧就是把重复的工作简单化，下面介绍一些经验汇总，请读者...
2021-04-17
Zerorhero的博客
04-17 250
数据来源：拉钩教育大数据高薪开发训练营 Hadoop学习第六部分：NameNode与SecondaryNameNode 1）HDFS元数据管理机制 问题1：NameNode如何管理和存储元数据？ 计算机中存储数据两种：内存或者是磁盘 元数据存储磁盘：存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应，但是安全性高； 元数据存储内存：元数据存放内存，可以高效的查询以及快速响应客户端的查询请求，数据保存在内存，如果断点，内存中的数据全部丢失。 解决方案：内存+磁盘；NameNode内存+FsImage的
Secondary NameNode:它究竟有什么作用？
热门推荐
Null的博客
06-19 1万+
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下： Se...
Hadoop源码解析：Secondary NameNode通信与数据持久化
在Hadoop分布式文件系统（HDFS）中，Secondary NameNode作为NameNode的辅助角色，主要负责维护系统的备份和元数据一致性检查。 首先，我们了解到NameNode与Secondary NameNode之间的通信是通过NamenodeProtocol接口...
HDFS NameNode元数据的存储方式和工作机制
weixin_43742704的博客
09-20 1098
NameNode元数据的存储方式 元数据的存储方式在物理上是以内存+磁盘的形式存储的，是通过FsImage和Edits合并形成元数据
HDFS中的Secondary NameNode、Checkpoint Node、Backup Node作用详单
初心江湖路的博客
11-02 1468
Secondary NameNode： 作用：用于间歇性将NameNode EditLog记录的变化更新到Fsimage，从而限制EditLog文件的大小并保证NameNode的启动恢复时间在一定范围内（也就是不至于太久）。 前边的两篇关于HDFS的文章中提到两个与NameNode相关的两个文件Fsimage和EditLog文件 NameNode在启动时会读Fsimage加载HDFS所有DataN...
namenode同步机制
qq_42938851的博客
03-17 442
sn向nn请求是否需要同步元数据信息 如果需要同步，则nn会滚动当前正在写的edits.inprogressing sn把所有的edits文件和fsimage文件下载到sn（只有第一次同步会下载nn的fsimage文件，后面同步只需要下载edits文件即可） 在sn把edits文件和fsimage文件加载到内存合并成新fsimage文件，重命名为fsimage.checkpoint文件 把fsimage.checkpoint文件上传到nn上，并重命名为fsimage，整个元数据同步完成 https://b.
Namenode管理元数据原理
Na2S2O3的博客
06-08 1249
Namenode职责： 1、响应客户端请求 2、维护目录树 3、管理元数据（查询，修改）
Namenode和SecondaryNamenode工作机制
qq_48959845的博客
08-27 418
1，首先Namenode需要和客户端进行交互 为了提高交互效率，Namenode需要把元数据放在内存中，但是为了防止断电数据丢失，元数据需要备份到磁盘（FsImage） 2，在Namenode与客户端交互的过程中需要对元数据进行操作，在交互的过程中，如果同步更新FsImage，那么效率就会非常低， 3，为了解决上述问题，因此引入Edits文件（此文件只进行追加操作）每当由元数据需要操作时，操作后的元数据追加到Edits中，这样即使断电，通过合并Edits和FsImage也可以进行数据保存。 4，那么如果一直
NameNode高可用中editlog同步的过程
weixin_33697898的博客
05-05 554
为什么80%的码农都做不了架构师？>>> ...
使用SNN回复NN的数据
Harden_zsc的博客
10-15 4586
1、 记录NN存储FSimage和Edits_Log的路径 2、 记录SNN存储FSimage和Edits_Log的路径 3、 删掉NN的FSimage和Edits_Log模拟数据丢失 4、 将SNN的FSimage和Edits_Log复制到NN的FSimage和Edits_Log对应的目录下 5、 启动集群进行验证 ...
06 HDSF元数据辅助管理SNN
lovetg0419的博客
12-17 268
一、元数据辅助管理SNN（secondary namenode） 1.1、架构图 1.2、执行流程（参考 ） snn 元数据辅助执行流程 第一步：将hdfs更新记录写入一个新的文件——edits.new。 第二步：将fsimage和editlog通过http协议发送至secondary namenode。 第三步：将fsimage与editlog合并，生成一个新的文件——fsimage.ckpt。这步之所以要在secondary namenode中进行，是...
使用SNN还原NN
wangxiansheng322的博客
10-14 1749
故障恢复步骤 1.记录nn存储FSimage和Edits Log的路径 FSimage的路径 ：/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDates/namenodeDatas/current Edits Log：/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits/ current 2.记录snn存储FSimage和Edits Log的路径 FSimage的路径：/export/ser
NN元数据工作机制
大数据
10-09 580
1. 2.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值