hadoop 2.2.0 关于 fsimage & edit log 的相关配置

由于无法加载editlog导致namenode无法启动问题处理 版本:hadoop3.2.1 namenode数量:5 1. 问题描述 hadoop-nn01节点的namenode服务无法启动,报错如下 Exiting with status 1: org.apache.hadoop.hdfs.server.namenode.EditLogInputException: Error replaying edit log at offset 0. Expected transaction ID was 4095226791 No edit log f. 阅读详情

在运行hadoop 2.2.0过程中,发现${dfs.namenode.checkpoint.edits.dir}目录下的edits_*文件越来越多,故整理一下相关配置。


在hadoop 2.2.0中关于fsimage和edit logs的相关配置有如下几项:

<property>
  <name>dfs.namenode.checkpoint.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
  <description>Determines where on the local filesystem the DFS secondary
      name node should store the temporary images to merge.
      If this is a comma-delimited list of directories then the image is
      replicated in all of the directories for redundancy.
  </description>
</property>

<property>
  <name>dfs.namenode.checkpoint.edits.dir</name>
  <value>${dfs.namenode.checkpoint.dir}</value>
  <description>Determines where on the local filesystem the DFS secondary
      name node should store the temporary edits to merge.
      If this is a comma-delimited list of directoires then teh edits is
      replicated in all of the directoires for redundancy.
      Default value is same as dfs.namenode.checkpoint.dir
  </description>
</property>

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
  <description>The number of seconds between two periodic checkpoints.
  </description>
</property>

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
  <description>The Secondary NameNode or CheckpointNode will create a checkpoint
  of the namespace every 'dfs.namenode.checkpoint.txns' transactions, regardless
  of whether 'dfs.namenode.checkpoint.period' has expired.
  </description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
  <description>The SecondaryNameNode and CheckpointNode will poll the NameNode
  every 'dfs.namenode.checkpoint.check.period' seconds to query the number
  of uncheckpointed transactions.
  </description>
</property>

<property>
  <name>dfs.namenode.checkpoint.max-retries</name>
  <value>3</value>
  <description>The SecondaryNameNode retries failed checkpointing. If the 
  failure occurs while loading fsimage or replaying edits, the number of
  retries is limited by this variable. 
  </description>
</property>


还有如下两项(即困扰我的),用于设置fsimage和edit log保存的记录数,默认保存2份fsimge和1000000份edits日志信息。

<property>
  <name>dfs.namenode.num.checkpoints.retained</name>
  <value>2</value>
  <description>The number of image checkpoint files that will be retained by
  the NameNode and Secondary NameNode in their storage directories. All edit
  logs necessary to recover an up-to-date namespace from the oldest retained
  checkpoint will also be retained.
  </description>
</property>

<property>
  <name>dfs.namenode.num.extra.edits.retained</name>
  <value>1000000</value>
  <description>The number of extra transactions which should be retained
  beyond what is minimally necessary for a NN restart. This can be useful for
  audit purposes or for an HA setup where a remote Standby Node may have
  been offline for some time and need to have a longer backlog of retained
  edits in order to start again.
  Typically each edit is on the order of a few hundred bytes, so the default
  of 1 million edits should be on the order of hundreds of MBs or low GBs.

  NOTE: Fewer extra edits may be retained than value specified for this setting
  if doing so would mean that more segments would be retained than the number
  configured by dfs.namenode.max.extra.edits.segments.retained.
  </description>
</property>


下面一项参考<<hadoop 2.2.0 fsimage和edit logs的处理逻辑>>

<property>
  <name>dfs.namenode.max.extra.edits.segments.retained</name>
  <value>10000</value>
  <description>The maximum number of extra edit log segments which should be retained
  beyond what is minimally necessary for a NN restart. When used in conjunction with
  dfs.namenode.num.extra.edits.retained, this configuration property serves to cap
  the number of extra edits files to a reasonable value.
  </description>
</property>

2021-11-11 Hadoop3 FSNamesystem 本文主要介绍一下FSNamesystem,依赖代码为hadoop-3.3.0。 1 简介 FSNamesystem 是瞬态和持久namespace状态的容器,并在 NameNode 上完成所有记录工作。 主要作用如下: 1. 是 BlockManager、DatanodeManager、DelegationTokens、LeaseManager 等服务的容器。 2. 委托处理修改或检查namespace的 RPC 调用 3. 任何只涉及块的东西(例如块报告),它都委托给 BlockManager 阅读详情

相关推荐

9 HAL库驱动框架简述(STM32HAL库)

HAL库外设的使用步骤总结如下:1、定义并填充xxx外设句柄结构体。2、如果遵循HAL库规范,通过HAL_xxx_MspInit()函数,实现外设底层资源的初始化,包括但不限于GPIO、时钟、DMA、中断等资源的初始化。3、调用HAL库的对应外设初始化函数,形如:HAL_xxx_Init()。4、初始化完成,开始使用外设。5、使用方法具体查看对应外设的HAL库驱动包中的说明:补充:HAL库使用主线外设初始化外设使用。

qq_25218501的博客 1984

IT-hadoop--杀死hadoop进程后,重启自动修复

2016-09-05 18:03:38,890 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Start loading edits file /home/hadoop/dfs/name/current/edits_0000000000000379085-0000000000002392935 2016-09-05 18:03:38,89

zhuimuzhuimu的博客 3163

手把手教你解决Kernel panic报错:init找不到的5种排查方法(附NFS挂载实战)

本文深入解析了Linux系统启动时出现“Kernel panic - not syncing: No working init found”报错的根本原因,并提供了五种系统性的排查方法。文章结合NFS挂载根文件系统的实战场景,详细阐述了从动态链接库依赖、内核引导参数、NFS权限配置、文件系统完整性到内核配置干扰的完整排查路径,帮助开发者快速定位并解决这一常见的系统启动故障。

weixin_29159995的博客 198

hadoop合并日志_手动合并hadoop namenode editlog

一. 基本概念1.NN恢复实际上是由fsimage开始(这个相当于数据的base),如果有多个fsimage,会自动选择最大的fsimage,然后按照editlog序列日志开始执行日志2.seen_txid文件里的值是当前的最大editlog值。如果nn正在运行,则是edits_inprogress_0000000003336594610 中的3336594610 ;如果NN已经挂了,则是序列最大...

weixin_36227730的博客 367

Unity URP 深度解析:利用Stencil与RenderFeature实现高效遮挡高亮

本文深入解析Unity URP中利用Stencil与RenderFeature实现高效遮挡高亮的技术方案。通过模板缓冲机制和自定义RenderFeature,开发者可以在保持场景完整性的同时,清晰标识被遮挡物体位置,提升游戏体验。文章详细介绍了Shader编写、URP管线配置及性能优化技巧,并提供了常见问题排查方法。

weixin_29012677的博客 482

【四旋翼】pixhawk2.4.8-地面站配置-APM固件-四旋翼从装机到试飞

因为MP版本和APM版本的适配问题,真的真的是很大一个坑。最好先走别人走过的路,走通了再去自由发挥,不然白白浪费时间。下面提供我试飞成功过的版本。下面提供任意版本固件和地面站的下载方法。

xifan的博客 3万+

fsimage与editlog详解

1 概述 HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表,而真正的数据是存储在DataNode上。 对于NameNode如何存储这些信息,它维护两个文件,一个是fsimage,一个是editlog。 2 fsimage与editlog作用 fsimage保存了最新的元数据检查点,包含了整个H...

6489

【深度学习驱动流体力学】Python流体力学Ansys Fluent

PyFluent 是一个将 Python 编程语言与 Ansys Fluent 流体动力学 (CFD) 仿真软件集成的工具。它允许用户通过 Python 脚本来控制和自动化 Fluent 中的仿真任务,实现从预处理、求解到后处理的全流程控制。PyFluent 结合了 Python 的灵活性和 Fluent 的强大功能,提供了一种高效且灵活的 CFD 仿真方法。PyFluent 是一个强大而灵活的工具,使用户能够通过 Python 脚本全面利用 Ansys Fluent 的功能。

源代码杀手的博客 3126

大数据生态(十)集成部署遭遇问题(提前、zk、hdfs)汇总

目录 1 .bash_profile和/etc/profile 问题说明 问题解答 现象说明 原因说明 解决 操作 2 赋权问题 2.1 e3base应用目录权限 原因 解决方案 2.2 SSH互联失败 原因 解决方案 3 Zookeeper 启动问题 3.1 Log目录错误 原因 解决方案 3.2 zookeeper启动成功,关联集群失败 现象 原因 解决方案 成果 hadoop运行失败 4 Hadoop启动问题 4.1 配置文件问题 说明 原因 解

长臂人猿的博客 3216

【Network Management】DCM模块唤醒网络是主动唤醒还是被动唤醒

DCM模块唤醒网络是主动唤醒还是被动唤醒

qq_36056498的博客 1542

Linux系统安全学习手册

Linux反弹shell Linux系统应急响应 Linux服务器安全加固 Linux下的用户、组和权限 Linux中的gcc Linux中su和sudo的用法和区别 Linux系统python2与python3共存 Linux中grep工具的使用 Linux中环境变量的设置 Linux中常见的150个命令(干货) Linux中编写Shell脚本 LNMP环境搭建Wordpress博客 LAMP环境搭建一个Discuz论坛 Linux运维比较常用的一些脚本 Linux系统中安装软

谢公子的博客 7535

BigData5:Hadoop之HDFS的Edits和Fsimage文件

Edits相关知识 当执行格式化指令时,会在指定的tmp目录下,生成dfs/name目录。 此目录是namenode服务器存储元数据的目录 当格式化后,启动HFDS前,会生成一个最初的fsimage_0000000000000000000文件 在 dfs/data目录,这是datanode节点存储数据块的目录。 元数据的存储目录和数据节点的目录的路径可以分开指定 在dfs/name/in_use...

程序员大魔王 1669

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Hadoop-2.9.2学习之edits和fsimage查看器

 在hadoop中edits和fsimage是两个至关重要的文件,其中edits负责保存自最新检查点后命名空间的变化,起着日志的作用,而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的,幸运的是hadoop为此准备了专门的工具用于查看文件的内容,这些工具分别为oev和oiv,可以使用hdfs调用执行。       oev是offline edits ...

老史的足迹 413

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Hadoop-2.X HA模式下的FSImage和EditsLog合并过程

Hadoop-2.X中HA模式下FSImage和EditsLog的checkpoint操作过程分析

dabokele的博客 7534

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

HADOOP NAMENODE FORMAT过程分析

namenode format操作是使用hadoop分布式文件系统前的步骤。如果不执行这个步骤,无法正确启动分布式文件系统。所以个人认为有必要对这个过程进行分析。 (1)启动format hadoop namenode -format 在之前关于start-dfs.sh的脚本分析过程,已经介绍到hadoop的脚本,namenode对应的执行类是org.apache.hadoop.hdfs.s

aperson111的专栏 3870

导致集群重启_大规模集群,HDFS 如何从 2.7 滚动升级到 3.2

1. 为什么要升级在 2017 年底, Hadoop3.0 发布了,到目前为止, Hadoop 发布的最新版本为 3.2.1。在 Hadoop3 中有很多有用的新特性出现,如支持 ErasureCoding、多 NameNode、Standby NameNode read、DataNode Disk Balance、HDFS RBF 等等。除此之外,还有很多性能优化以及 BUG 修复。其中最吸引我...

weixin_39756192的博客 186

Namenode故障恢复

Namenode元数据信息多目录配置 为了保证元数据的安全性,我们一般都是先确定好我们的磁盘挂载目录,将元数据的磁盘做RAID1 Namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性。 具体配置如下: 文件名:hdfs-site.xml Namenode故障恢复 secondaryNamenode对namenode当中的fsimage和edits进行合并时, 每次都会先...

汉子一枚 6051

【框架解析】Hadoop系统分析(三)--namenode format

hadoop namenode后需要带上一系列参数才能顺利执行。执行hadoop namenode时,会从org.apache.hadoop.hdfs.server.namenode.NameNode进入hadoop,通过参数的不同调用不同的方法对namenode进行操作。 try { StringUtils.startupShutdownMessage(NameNode.class, a

shorn的专栏 2330

Hadoop源码分析(23)

Hadoop源码分析(23) 加载EditLog日志   在文档(22)中分析了加载FSImage的方法,在这个方法中最终是将FSImage中的信息加载成INodeFile和INodeDirector对象,并建立的其目录结构。这里接着解析加载editLog的方法。   加载editlog的方法依然是在loadFSImage方法中被调用的,调用的相关代码如下:   与FSImage相同editlog也是一个二进制文件,其内容如下:   同样这个文件也可以使用命令将其转换成xml文件,命令如下: hd

qq_39210987的博客 383

第七章:小朱笔记hadoop之源码分析-hdfs分析 第四节:namenode分析-format过程分

liangqilang的专栏 106

HDFS的相关理论知识

HDFS的相关理论知识 HDFS适用场景 1.海量数据的存储 2.高容错 3.商用廉价的硬件 4.一次写入多次读取 5.存储大文件 HDFS不适用场景 1询时效性要求低延迟的场景 2.大量小文件。 3.需要频繁修改数据的场景 4.多个用户同时操作一个文件 Fsimage,Edits的作用 永久储存HDFS文件系统的镜像和操作日志。集群在二次使用Fsimage,Edits将集群状态恢复到集群关闭前的状态。 secondarynameNode如何辅助管理FSImage与Edits文件 1、 secnonaryN

wangxiansheng322的博客 760

第七章:小朱笔记hadoop之源码分析-hdfs分析 第四节:namenode分析-format过程分析...

第七章:小朱笔记hadoop之源码分析-hdfs分析 第四节:namenode分析  4.2 namenode format过程分析        namenode format操作是使用hadoop分布式文件系统前的步骤。如果不执行这个步骤,无法正确启动分布式文件系统。   (1)启动format    start-dfs.sh的脚本分析过程,传入的-format参数传入到执行...

huashuizhuhui的专栏 178

hadoop namenode启动不了_浅谈HDFS中(secodary)namenode的工作机制

点击上方“道源趣谈”,“设为星标”加“星标★”,每天早晨08:35,好文必达hdfs操作的数据都是存储在内存中的,所以一般运行非常快而且占用内存特别大,但是数据只存放在内存的话,如果服务宕机了,那么内存数据就会丢失,为了让数据持久化,hdfs提供了两种方式,类似与redis中的RDB和AOFredishdfsRDB直接将内存中的数据持久化到硬盘中fsimage也是直接将内存中的数据持久化...

weixin_39680121的博客 223
上一篇: pureftp配置
下一篇: 一个Linux下C线程池的实现
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值