namenode与secondaryNamenode的联系

NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件(edits)。当一个NameNode启动时,它首先从一个映像文件(fsimage)中读取HDFS的状态,接着应用日志文件中的edits操作。然后它将新的HDFS状态写入(fsimage)中,并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits,所以一段时间后日志文件可能会变得非常庞大,特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。 

Secondary NameNode定期合并fsimage和edits日志,将edits日志文件大小控制在一个限度下。因为内存需求和NameNode在一个数量级上,所以通常secondary NameNode(运行在单独的物理机器上)和NameNode运行在不同的机器上。Secondary NameNode通过bin/start-dfs.sh在conf/masters中指定的节点上启动。 

Secondary NameNode的检查点进程启动,是由两个配置参数控制的: 

    * fs.checkpoint.period,指定连续两次检查点的最大时间间隔, 默认值是1小时。 
    * fs.checkpoint.size定义了edits日志文件的最大值,一旦超过这个值会导致强制执行检查点(即使没到检查点的最大时间间隔)。默认值是64MB。 

Secondary NameNode保存最新检查点的目录与NameNode的目录结构相同。 所以NameNode可以在需要的时候读取Secondary NameNode上的检查点镜像。 

如果NameNode上除了最新的检查点以外,所有的其他的历史镜像和edits文件都丢失了, NameNode可以引入这个最新的检查点。以下操作可以实现这个功能: 

    * 在配置参数dfs.name.dir指定的位置建立一个空文件夹; 
    * 把检查点目录的位置赋值给配置参数fs.checkpoint.dir; 
    * 启动NameNode,并加上-importCheckpoint。 

NameNode会从fs.checkpoint.dir目录读取检查点, 并把它保存在dfs.name.dir目录下。如果dfs.name.dir目录下有合法的镜像文件,NameNode会启动失败。 NameNode会检查fs.checkpoint.dir目录下镜像文件的一致性,但是不会去改动它。

Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍 NameNode是什么?DataNode是什么?SecondaryNamenode是什么? 阅读详情

相关推荐

FOC控制必看:单/双/三电阻电流采样方案全对比(附NXP实战避坑指南)

本文深入对比了FOC控制中单电阻、双电阻和三电阻电流采样方案的优劣与适用场景,重点剖析了采样时序、窗口与ADC转换的工程挑战。针对NXP平台,提供了解决采样窗口过窄的实战方案与配置指南,帮助工程师根据成本与性能需求做出最优选择,并规避常见设计陷阱。

n2o3p4的博客 411

黑猴子的家:Hadoop 中,什么是FSImage和EditsLog

我们知道HDFS是一个分布式文件存储系统,文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息(metadata)由NameNode节点来处理。随着存储文件的增多,NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢?   在HDFS中主要是通过两个组件FSImage和EditsLog来实现metadata...

黑猴子的博客 785

1014. 福尔摩斯的约会 (20)-PAT乙级真题

1014. 福尔摩斯的约会 (20) 大侦探福尔摩斯接到一张奇怪的字条:“我们约会吧!3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm”。大侦探很快就明白了,字条上奇怪的乱码实际上就是约会的时间“星期四 14:04”,因为前面两字符串中第1对相同的大写英文字母(大小写有区分)是第4个字母’D’,代表星期四;第2对相同的字符是’

柳婼 の blog 2644

Namenode和Secondarynamenode的关系

我需要了解hadoop集群中的两个进程 secondary namenode和namenode的区别 在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一。 Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的。 但其实不是,但是也是跟namenode有关系的。 我们主要了解Secondary NameNode...

璀璨下的一点星辰 2136

FPGA优质开源项目 – UDP万兆光纤以太网通信

本文开源一个FPGA项目:UDP万兆光通信。文章末尾有该工程源码获取方式,有需要的小伙伴可以点赞、分享支持一下~

cjx_csdn的博客 4765

【unity小技巧】委托(Delegate)的基础使用和介绍

在Unity中,委托(Delegate)是一种用于处理方法回调的特殊类型。它允许您将方法作为参数传递给其他方法,并在需要时调用这些方法。委托在游戏开发中非常有用,特别是在事件处理、消息传递和异步操作方面。它提供了一种灵活的方式来注册和触发方法,而无需显式地知道这些方法的实现细节。个人理解:可以把委托理解为一个容器,容器里面放可以放很多函数方法。一调用委托,里面所有的函数方法都会同步被执行。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 7234

NameNode 与SecondaryNameNode 的区别与联系

1)区别 (1)NameNode 负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的 数据块信息。 (2)SecondaryNameNode 主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 2)联系: (1)SecondaryNameNode 中保存了一份和 namenode 一致的镜像文件(fsimage)和编 辑日志(edits)。 (2)在主 namenode 发生故障时(假设没有及时备份数据),可以从 SecondaryNameNode 恢复数据。 ...

qq_47435954的博客 3781

英伟达DeepStream学习笔记7——DeepStream接入USB相机并实现广角摄像头的畸变矫正

deepstream官方提供了一个畸变矫正的例子,包含了鱼眼和普通广角的矫正。我目前准备做一个广角的畸变矫正,我已经使用opencv实现功能,目前增加到deepstream框架中。示例代码在\opt\nvidia\deepstream\deepstream-5.0\sources\apps\sample_apps\deepstream-dewarper-test 中,鱼眼矫正——deepstream官方版 https://developer.nvidia.com/blog/calibration-trans

耶律大石的博客 1599

NameNode和 SecondaryNameNode的区别与联系

区别 (1)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。 (2)SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 联系 (1)SecondaryNameNode中保存了一份和namenode一致的镜像文件(fsimage)和编辑日志(edits)。 (2)在主namenode发生故障时,(假设没有及时备份数据),可以从SecondaryNameNode恢复数据。 ...

qq_53229073的博客 2513

SKUA-GOCAD入门教程-第八节 线的创建与编辑7和8

本文介绍了曲线编辑操作的主要功能,包括曲线部分和区域的管理操作。在曲线部分操作方面,详细说明了如何合并、删除、移动和过滤曲线部分,支持精确或带公差的合并方式。在曲线区域操作方面,阐述了保留/删除区域点、移动区域点、保留/删除区域线段等操作。此外还介绍了节点连接功能,包括新增/删除连接、端点连接以及为曲线赋予地质特征的方法。

江洋大葱的博客 390

基于MATLAB Simulink的电动汽车整车控制仿真

在本文中,我们选择了power_ElectricVehicle示例模型,该模型已经包含了电动汽车的基本组成部分,包括电机、变速器、驱动轮、电池等。例如,使用PID控制器来控制电机的转速,使用ABS控制器来控制车轮的制动力,使用转向控制器来控制车辆的转向角度,使用悬挂控制器来控制车轮的姿态等。通过建立模型和实现控制器,我们可以比较直观地了解电动汽车的工作原理和性能特点,并验证设计的控制系统在不同工况下的效果。而在电动汽车的开发中,整车控制系统是至关重要的一个组成部分,直接影响着电动汽车的性能和性价比。

qq_39605374的博客 1800

NameNode 和 SecondaryNameNode

由于 Edits中记录的操作会越来越多,Edits文件会越来越大,导致 NameNode在启动加载 Edits时会很慢,所以需要对 Edits和Fsimage进行合并(所谓合并,就是将 Edits和 Fsimage加载到内存中,照着 Edits中的操作一步步执行,最终形成新的Fsimage)。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦 NameNode节点断电,就会产生数据丢失。因此,元数据需要存放在内存中。

程序猿进阶 1772

Windows 11 安装 uv:手动下载、配置国内源

本教程详细介绍了在 Windows 11 系统下安装并配置 Python 包管理器 uv 的完整流程,包括配置环境变量 PATH、设置清华 PyPI 镜像源,以及创建收据文件以支持未来更新。适用于因网络限制无法通过官方脚本自动安装的用户,操作步骤清晰,配有图文指引,帮助读者高效完成本地部署。

寒水馨 · 轻量级技术文档 · hanshuixin.org 7596

hdfs的namenode、datanode和secondarynamenode

前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Seco...

阿正的博客 4702

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

第5章 NameNode和SecondaryNameNode

NameNode和SecondaryNameNode工作机制详解

留不住斜阳的博客 1333

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Hadoop:NameNode和SecondaryNameNode

NameNode和SecondaryNameNode工作机制详解

学习记录和总结 1万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

NameNode和SecondaryNameNode详解

一、NN和2NN工作机制 NN和2NN工作机制,如图 1.第一阶段:NameNode启动 (1)第一次启动NameNode格式化后,创建fsimage和edits文件。 如果不是第一次启动,直接加载编辑日志和镜像文件到内存。 (2)客户端对元数据进行增删改的请求。 (3)NameNode记录操作日志,更新滚动日志。 (4)NameNode在内存中对数据进行增删改查。 2....

安歌Object 1万+

NameNode和SecondaryNameNode

NN和2NN工作机制 NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage...

weixin_45102492的博客 257

NameNode和SecondaryNameNode工作机制

Hadoop--入门NameNode和SecondaryNameNode工作机制1.NN和2NN工作机制2.查看Fsimage文件3. 查看Edits文件 NameNode和SecondaryNameNode工作机制 NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存...

klionl的博客 342

NameNode、SecondaryNameNode、DataNode

一、NameNode(NN) 主要功能:接受客户端的读写请求并分发给DataNode,DataNode是文件的主要存储与处理的地方。而NameNode中会保存文件的元数据(metadate),包括: 1、文件的拥有者、权限、文件名等 2、文件包含的块(block) 3、这些block保存在哪个DataNode中(DataNode启动时上报) 这个metadata信息在磁盘中存储为文件“f

小萌猿的博客 3367

hadoop集群管理之SecondaryNameNode与NameNode

光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用 sn

cqboy1991的专栏 1602

NameNode与SecondaryNameNode

一、secondarynamenode工作机制 1)第一阶段:namenode启动 (1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。 (2)客户端对元数据进行增删改的请求 (3)namenode记录操作日志,更新滚动日志。 (4)namenode在内存中对数据进行增删改查 2)第二阶段:Secondary Name...

xiaohao95的博客 637

NameNode概念及SecondaryNameNode作用

NameNode概念 namenode需要管理datanode,namenode中存储管理信息—元数据metadata — FileName replicas block-Ids id2host: a. 记录文件存储位置 /node01/a.txt b. 记录文件切的块数 c. 文件块存储的datanode的地址 fsimage:存储元数据。但是注意fsimage中的元数据和内存中并不一致,也就...

LZX的博客 4023

13 |NameNode和SecondaryNameNode

这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。这样,一旦NameNode节点断电,可以通过FsImage和Edits的合并,合成元数据。但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据需要的时间过长。首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。

走过冬季 545
上一篇: Eclipse代码注释模板——code templates
下一篇: Hadoop FS Shell命令
java_doom
博客等级 码龄20年 6粉丝 199原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值