hadoop 2.2.0 fsimage和edit logs的处理逻辑

【hadoop】HDFS元数据管理机制 文章目录前言元数据管理概述元数据目录相关文件secondary namenodeCheckpoint总结 前言 没什么话好讲 但这一张讲元数据 因为之前学习一直有疑惑 参考了很多资料后 元数据管理概述 HDFS元数据,按类型分,主要包括以下几个部分: 文件、目录自身的属性信息,例如文件名,目录名,修改信息等。 文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等。 记录 HDFS... 阅读详情

在类org.apache.hadoop.hdfs.server.namenode.NNStorageRetentionManager的purgeOldStorage()方法中描述了fsimage和edit logs的处理逻辑:

一、找到存在于fsimage中的最小txid,删除比最小txid小的fsimage

二、最小txid - dfs.namenode.num.extra.edits.retained = 可以删除txid集合

三、可删除txid集合 > dfs.namenode.max.extra.edits.segments.retained 时,删除集合中的最小值


完整代码:

  public void purgeOldStorage() throws IOException {
    FSImageTransactionalStorageInspector inspector =
      new FSImageTransactionalStorageInspector();
    storage.inspectStorageDirs(inspector);

    long minImageTxId = getImageTxIdToRetain(inspector);
    purgeCheckpointsOlderThan(inspector, minImageTxId);
    // If fsimage_N is the image we want to keep, then we need to keep
    // all txns > N. We can remove anything < N+1, since fsimage_N
    // reflects the state up to and including N. However, we also
    // provide a "cushion" of older txns that we keep, which is
    // handy for HA, where a remote node may not have as many
    // new images.
    //
    // First, determine the target number of extra transactions to retain based
    // on the configured amount.
    long minimumRequiredTxId = minImageTxId + 1;
    long purgeLogsFrom = Math.max(0, minimumRequiredTxId - numExtraEditsToRetain);
    
    ArrayList<EditLogInputStream> editLogs = new ArrayList<EditLogInputStream>();
    purgeableLogs.selectInputStreams(editLogs, purgeLogsFrom, false, false);
    Collections.sort(editLogs, new Comparator<EditLogInputStream>() {
      @Override
      public int compare(EditLogInputStream a, EditLogInputStream b) {
        return ComparisonChain.start()
            .compare(a.getFirstTxId(), b.getFirstTxId())
            .compare(a.getLastTxId(), b.getLastTxId())
            .result();
      }
    });

    // Remove from consideration any edit logs that are in fact required.
    while (editLogs.size() > 0 &&
        editLogs.get(editLogs.size() - 1).getFirstTxId() >= minimumRequiredTxId) {
      editLogs.remove(editLogs.size() - 1);
    }

    // Next, adjust the number of transactions to retain if doing so would mean
    // keeping too many segments around.
    while (editLogs.size() > maxExtraEditsSegmentsToRetain) {
      purgeLogsFrom = editLogs.get(0).getLastTxId() + 1;
      editLogs.remove(0);
    }
    
    // Finally, ensure that we're not trying to purge any transactions that we
    // actually need.
    if (purgeLogsFrom > minimumRequiredTxId) {
      throw new AssertionError("Should not purge more edits than required to "
          + "restore: " + purgeLogsFrom + " should be <= "
          + minimumRequiredTxId);
    }
    
    purgeableLogs.purgeLogsOlderThan(purgeLogsFrom);
  }


手把手教你用运放搭建方波三角波发生器(附Multisim仿真文件) 本文详细解析了使用运算放大器搭建方波和三角波发生器的核心原理与设计步骤。通过剖析迟滞比较器与积分器的联动机制,指导读者进行电路设计、元件选型,并借助Multisim仿真进行参数调优与波形优化。文章提供了从理论分析、虚拟仿真到实物焊接调试的完整实践指南,并附有仿真文件,帮助硬件爱好者与初学者深入掌握这一经典模拟电路设计。 阅读详情

相关推荐

半桥LLC谐振变换器及同步整流MATLAB仿真(一)

LLC工作原理详细解析,工作过程详细拆解

qq_55203246的博客 3万+

爱奇艺校招Hadoop工程师笔试复盘:HDFS与MapReduce核心考点解析

分布式存储与并行计算是大数据技术体系的基石,HDFS通过数据分片和副本策略实现高可靠存储,MapReduce则凭借Shuffle机制完成分布式任务的归并排序。理解这些底层原理,不仅有助于解决数据倾斜、小文件等生产环境常见问题,也是掌握YARN资源调度与Zookeeper高可用协调的关键前置知识。在互联网视频平台海量日志处理的场景下,Hadoop生态依然是离线数据链路的主流选择。本文以爱奇艺校招笔试为线索,系统拆解HDFS读写流程、MapReduce执行原理、YARN任务生命周期,并延伸至Zookeeper

weixin_30819085的博客 388

【具身算法】VLA算法-Diffusion Policy

《扩散策略:多模态机器人控制的新方法》摘要 本文提出了一种基于扩散模型的机器人控制策略(DiffusionPolicy),用于解决视觉运动控制中的多模态行为、高维动作空间和训练稳定性问题。该方法利用去噪扩散概率模型(DDPM)生成动作序列,通过迭代优化处理复杂动作分布,显著提升了性能。实验表明,在15项机器人操作任务中,扩散策略平均性能提升46.9%,有效解决了传统显式/隐式策略的局限性。其核心优势在于:1)优雅建模多模态动作分布;2)适应高维动作空间;3)训练过程稳定。未来工作将探索与强化学习的结合及计算

puzhinan7781的博客 1393

Hadoop参数汇总

Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 适用

2118

毕业设计——基于卷积神经网络的高速公路团雾智能识别系统设计与实现(数据集+源码+可视化+综述)

同时,也可以结合其他技术,如雷达、红外传感器等,实现多源信息的融合与协同处理,提高系统的可靠性和稳定性。实验结果表明,该系统能够实现对高速公路团雾的准确、快速识别,为高速公路的安全运行提供了有力保障。团雾作为一种常见的气象现象,具有突发性、局地性和消散迅速的特点,对高速公路的行车安全构成严重威胁。通过设计合适的网络结构,如增加卷积层、池化层等,实现对图像中团雾特征的自动学习和提取。预处理:对采集到的图像进行去噪、增强等预处理操作,以提高图像质量,降低后续处理的难度。读取数据,随机分为训练集和验证集。

abackcab的博客 669

AMD MI50 Linux ROCm 6.4 手动编译与大模型推理实战

GPU加速计算是现代AI推理的核心基础,其性能依赖于硬件架构、驱动栈与运行时环境的深度协同。ROCm作为AMD开源GPU计算平台,采用‘自下而上’的Linux生态集成路径,强调对上游内核、编译器与固件的强耦合。MI50基于Vega 20(gfx900)架构,虽具备32GB HBM2高带宽显存与14.7 TFLOPS FP16算力,但因ROCm官方支持策略转向CDNA架构,自6.5版本起被移出支持列表,仅ROCm 6.4仍提供实验性兼容——这使其成为Linux下部署私有大模型的关键‘最后一班船’。本文围绕MI

weixin_32770423的博客 371

NameNode元数据及checkpoint分析--转载

NamNode NameNode 的主要作用是 负责管理文件系统的命名空间、集群配置信息和存储块的复制; 维护着整个文件系统的文件目录树和文件根目录的元信息和每个文件对应的数据块列表; 接收用户的操作请求; 管理文件与block之间的关系,block与DataNode之间的关系; NameNode 的启动流程为: Loading fsimage - 从fsimage file中读取最新的文件系统的元数据快照(最近生成的fsimage_xx) Loading edits - 读取包含fsimag

z7one 1591

Android 13 RK3588 编译烧写实录全程

本文详细记录了RK3588主板在Android 13系统下的各项功能测试与编译过程。主要内容包括:1)网络功能测试(以太网、WiFi、蓝牙连接);2)外设接口测试(耳机、麦克风、USB、TF卡);3)硬件功能验证(RTC时钟、ADC采样、MIPI摄像头);4)系统设置(手势导航、开发者选项);5)Android 13 SDK编译环境搭建与源码获取方法。通过图文并茂的方式展示了各功能的配置方法、操作步骤和测试结果,为开发者提供了全面的参考指南。

hnjzfwy的博客 241

删了HDFS又能怎样?记一次删库不跑路事件[转]

一、事发背景二、应急措施直观的方案 三、分析过程hdfs文件删除过程BlockManagerEditLog hdfs元数据的加载方案确定 四、灾难重演五、经验总结 一、事发背景 ​ 上个月的某一天,由于集群空间不足,公司有一位权限较高的员工...

Meepoljd的博客 418

基于Simulink开发一个完整的直驱式永磁同步发电机DDPMSG仿真模型

需求分析直驱式永磁同步发电机(Direct-Drive Permanent Magnet Synchronous Generator, DDPMSG)广泛应用于风力发电、海洋能发电等可再生能源领域。与传统的齿轮箱驱动系统相比,DDPMSG具有结构简单、效率高、可靠性好等优点,能够直接将机械能转换为电能,减少了中间传动环节,降低了维护成本。本项目将基于Simulink平台,开发一个完整的DDPMSG仿真模型,模拟其在风力发电场景中的应用。我们将详细讲解如何设计和实现该系统,并结合实际应用案例进行说明。

MHD0815的博客 467

9.1 机器人动力学建模

目录9.1 机器人动力学建模一、机器人动力学的基本概念1. 什么是机器人动力学?2. 动力学方程二、机器人动力学建模方法1. 拉格朗日方法2. 牛顿-欧拉方法三、Simulink 中的机器人动力学建模1. 使用 Simscape Multibody 建模示例:构建一个两连杆机械臂的动力学模型。步骤:2. 使用 Robotics System Toolbox 建模示例:构建一个六自由度工业机器人的动力学模型。步骤:四、示例:两连杆机械臂的动力学建模目标:步骤:五、结果分析1. 动态响应2. 参数敏感性六、总结

xiaoheshang_123的博客 627

解决 HDFS edit log文件损坏问题

1.现象 CDH集群 HDFS出现爆红项,具体原因是 JournalNode状态异常,查看角色日志如下: 2.分析 edit log文件里面存放的是hdfs一些状态信息,从报错来看是某个 edits文件无法读取导致的,结合最近服务器出现过一次集体断电,猜测是 edit log文件损坏了。 3.解决 查看集群组件状态,JournalNode一共有 3台机器,其中一台状态异常,另外两台状态良好,于是可以把从其中一台状态良好的机器上拷贝 edit log文件到状态异常的机器。 具体步骤如下: 停止集群所有服

Daphnis的博客 1212

Python之afdx包语法、参数和实际应用案例

Python 的 afdx 包是针对 AFDX 协议的轻量级开发工具,专注于 AFDX 数据帧的解析、构造、发送/接收、协议合规性校验等核心能力,广泛应用于航空电子设备测试、仿真、数据监控等场景。

王国平的博客 986

HDFS的standby节点启动过慢原因分析以及应对策略

在hdfs的nn重启过程时,以standby的方式进行启动,其中当前节点的fsimage和active节点的editlog数量对启动时间起到关键性的影响。本问题探讨hdfs的active节点正常,当standby节点重启时重启过慢的原因分析以及应对的策略。

李姓门徒 1654

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

HDFS元数据管理机制

转载原文地址:https://www.cnblogs.com/jifengblog/p/9307791.html 元数据管理概述   HDFS元数据,按类型分,主要包括以下几个部分:     1、文件、目录自身的属性信息,例如文件名,目录名,修改信息等。     2、文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等。     3、记录 HDFS 的 Datanode 的信息,用于 DataNode 的管理。   按形式分为内存元数据和元数据文件两种,分别存在内存和磁盘上。

道语星航 512

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

爱奇艺Hadoop工程师校招笔试复盘:核心考点与实战调优

在大数据技术栈中,Hadoop生态体系是构建分布式存储与计算平台的基石,也是企业级数据工程师必须掌握的核心技能。HDFS通过NameNode与DataNode的协作实现高可靠存储,MapReduce以Shuffle和排序机制完成分布式计算,而YARN则负责统一资源调度与管理。理解和掌握这些组件的底层原理,不仅能帮助你诊断集群故障、优化作业性能,更是应对数据倾斜、小文件等真实挑战的关键。随着Zookeeper在HA高可用、分布式协调中的深度应用,从伪分布式搭建到生产级集群调优,系统化提升Hadoop工程能力已

weixin_34234829的博客 334

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

减少 HDFS NameNode 使用的磁盘空间参数调整

减少 HDFS NameNode 使用的磁盘空间参数调整。

marsjin的专栏 463

hdfs元数据文件(fsimage、edits)清理

Standby namenode (sbn)的EditLogTailer的功能之一就是触发Active Namenode(nn) rollEditLog。每隔${dfs.ha.tail-edits.period}秒(默认60)秒,EditLogTailer检测一次当前时间距离上一次roll的时...

1875

hadoop之HDFS进阶

探索大数据的奥秘,深入 Hadoop 之 HDFS 进阶之旅! 在大数据的浩瀚海洋中,Hadoop 的 HDFS(Hadoop Distributed File System)无疑是一颗璀璨的明珠。如果你已经对 HDFS 有了初步的认识,那么现在是时候开启一段令人兴奋的进阶之旅了。 这篇 Hadoop 之 HDFS 进阶文章,将带你深入挖掘 HDFS 的强大功能。从数据的高效存储与管理,到分布式架构下的容错机制,再到性能优化的关键策略,每一个知识点都如同打开一扇通往大数据新世界的大门。

weixin_48423810的博客 1232

Hadoop2.7.7 API: hdfs-site.xml 解析

name description value 备注 hadoop.hdfs.configuration.version 配置文件版本 1   dfs.namenode.rpc-address 处理所有客户端请求的RPC地址,若在HA场景中,可能有多个namenode,就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 ...

张伯毅的专栏 3741

hadoop配置文件详解系列(二)-hdfs-site.xml篇

上一篇介绍了core-site.xml的配置,本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address   处理所有客户端请求的RPC地址,若在HA场景中,可能有多个nameno...

weixin_34191845的博客 2297

HDFS——fsimage

【前言】在《HDFS——editLog文件》一文中提到了namenode(后面简称nn)的元数据信息由editlog和fsimage文件组成。editlog文件记录对文件系统的写操作,f...

hncscwc的博客 3505

YARN 实践记录

HDFS 看护程序:NameNode,Secondary NameNode,和 DataNode 其中NameNode是主看护程序,管理维护着HDFS命名空间元数据,包括文件名,目录名,文件许可,目录许可, 文件到块的映射关系,块ID,以及块在RAM里的位置信息等。 NameNode将元数据...

chongqidan2618的博客 372

hadoop中FSimage和Edits_Log的路径

查看路径首先要打开本机的配置文件hdfs-site.xml查看 namenode 属性名dfs.namenode.name.dir的是namenode的Fsimage文件路径 属性名dfs.namenode.edits.dir的是namenode的Edits_Log文件路径 SecondaryNameNode 属性名dfs.namenode.checkpoint.dir的是namenode的Fsimage文件路径 属性名dfs.namenode.checkpoint.edits.dir的是

weixin_44704605的博客 1583

Hadoop中HDFS文件管理系统的使用

HDFS系统的组成,文件读写流程,NameNode和DataNode工作原理,使用Shell命令操作HDFS,使用Client API进行数据操作

theVicTory的博客 5278

fsimage 和 editlogs 是做什么用的

fsimage文件存储的是Hadoop的元数据文件, 如果namenode发生故障, 最近的fsimage文件会被载入到内存中, 用来重构元数据的最近状态, 再从相关点开始向前执行edit logs文件中记录的每个事务. 文件系统客户端执行写操作时, 这些事务会首先记录到日志文件中. 在namenode运行期间, 客户端对hdfs的写操作都保存到edit文件中, 久而久之就会造成edit文件变得很大, 这对namenode的运行没有影响, 但是如果namenode重启, 它会将fsimage中的内容映射到内

weixin_59295776的博客 831
上一篇: 简单介绍VC++6.0下如何使用压缩库ZLIB
下一篇: Ubuntu上使用Hadoop 2.x 三 编译2.2.0 64bit版本
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值