磨磋hadoop:Lease recovery策略分析

hdfs--lease recovery和block recovery源码分析 append操作在namenode这端主要逻辑在FSNameSystem的appendFileInternal函数中处理,内部会调用 前言 在DFSClient写文件的时候,对于文件的每一个block,生成一个pipeline,然后按照这个pipeline进行数据传输,但是可能在数据传输过程中,DFSClient发生中断,例如断网等,此时该block在NameNode中处于Under... 阅读详情

LeaseManager提供了lease recovery的方法。

lease recovery算法如下:

1. name node查找到lease的信息

2. 对于lease中的每一个文件,获取其最后一个block b进行以下处理

    2.1 获取包含block b 的全部data node

    2.2 获取一个data node作为其primary data node, 

    2.3 p 向 nn获取一个新的generation stamp

    2.4 p 向每一个dn获取block info

    2.5 p 计算最小块的长度

    2.6 p 用最小块的长度和新生成的 genetation stamp来更新 dn 。(后面进行详述)

    2.7 p ack nn update的结果

    2.8 nn 更新 block info

    2.9 nn 删除文件 f 的lease

    2.10  nn向edit log提交 lease 这个change

 

针对此策略,我们查看了 https://issues.apache.org/jira/browse/HADOOP-1700,

lease recovey策略是在全部valid的dn中,选择block大小最小的dn,作为标准。并为此向nn申请一个新的generation stamp,分发至全部的dn,最后,nn将此次操作写之edit log。如以下设计文档中所述,选择最小的block是为了减少系统的负载。

 

Leaserecovery

 

TheNamenode creates an in-memory lease-record when a file is opened forwrite (or append). The lease record contains the filename that wasbeing written to. If a lease for a file expires (typically after 1hour), the Namenode starts lease recovery of that lease.

 

TheNamenode contacts the Datanodes where the last block was beingwritten to and fetches the BlockGenerationStamp from each of them.The Datanode(s) that have a DataGenerationStamp that is equal to orgreater than the number stored in the BlocksMap have a good replicaof the data. Any Datanode that has a BlockGenerationStamp that islarger than what is stored in the BlocksMap is guaranteed to containdata from the last successful write to that block. The block size ofeach of these replicas could still be different because the writefrom a client might not have been committed to all replicas. TheLease Recovery process should pick one of these blocks to have theright size of data and then ensure that all the good blocks have thesame size. There are three possible algorithms that it can choose:

 

  • Choosethe replica that has the maximum size, copy data from largerreplicas to the shorter replicas

  • Choosethe replica that has the minimum size, truncate all larger replicasto this size

  • Choosesize that is the majority of all known good replicas, then truncatelarger replicas and copy data to smaller replicas

 

Allof the above algorithms are appropriate because the Client-write didnot complete and so it is up-to the system to determine how much datait chooses to persist.

 

Wechoose the second option because it incurs the least overhead for thesystem. We pick the size of the minimum-size-block as the chosen sizeof this block. The Namenode generates a new BlockGenerationStamp forthis block and sends it and the choose size to this subset ofDatanodes. The Datanodes closes client-connections (if any) to thatblock, truncates the block file to the chosen size (if needed),persist this BlockGenerationStamp in the block meta-file and sendsconfirmation back to the Namenode. The truncation of the block fileand the storage of the new BlockGenerationStamp can be done in anyorder. The Namenode then writes a CloseFile record into thetransaction log and deletes the lease record.

HDFS的recoverLease和recoverBlock的过程分析 最近需要搞一下Lease,分析一下recoverLease的过程,顺带把recoverBlock的过程分析一下。 一、 recoverLease recoverLease是恢复租约,我理解为释放文件之前的租约,close文件,报告namenode。 recoverLease有两条路径去调用 1. DistributedFileSystem.create -> DFSClient.c 阅读详情

相关推荐

分布式系统原理 之3 Lease机制

分布式系统原理 Lease机制 Lease 机制是最重要的分布式协议,广泛应用于各种实际的分布式系统中。即使在某些系统中相似的设计不被称为 lease,但我们可以分析发现其本质就是一种 lease 的实现。 本节从一个分布式cache 系统出发介绍最初的 lease 机制,接着加以引申,探讨 lease 机制的本质。最后介绍了 lease 机制最重要的应用:判定节点状态。 1. 基于 ...

从零开始 2803

【HADOOP】Hadoop javaAPI运行append时报错 lease recovery is in progress 处理办法

参考:https://blog.csdn.net/xutao_ccu/article/details/84729640 如集群节点少于3个在运行时就会抛异常;解决方案修改【dfs.client.block.write.replace-datanode-on-failure.policy=NEVER】 Configuration conf = new Configuration(); conf...

Zsigner的博客 1174

印尼稻米收成与粮食安全数据集2026年

本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。

解决"Class org.apache.hadoop.hdfs.DistributedFileSystem not found"问题

使用的IDLE:Intellij IDEA Hadoop版本:3.1.1 看了网上各种解决方案,国内的国外的。很多都是说缺少相对应的jar包,要去网上下载更全更新的版本。也的确很多人这么做了,可还是没有效果,甚至还不得不把重复的旧jar包清除。 我意外发现了一个神奇的解决方案。因为根据提示,是DistributedFileSystem没有找到,我就在想会不会是之前添加的jar包不全,因为只加了 加...

Xurui_Luo的博客 1万+

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

IDEA-Maven项目中:java:程序包org.apache.hadoop.conf.fs等众多Hadoop包不存在的问题

java:org.apache.hadoop.conf.fs问题描述解决方案mvn idea:idea 问题描述 package com.zs.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; import java.io.IOException; import

全网粉丝30W+,优快云、稀土掘金人工智能领域签约作者,人工智能、大模型、Python 爬虫,商务合作,请私信沟通。 1万+

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

hadoop之hdfs生产数据块损坏修复方法

hadoop之hdfs生产数据块损坏修复方法

luo981695830的博客 4043

银河麒麟高级服务器操作系统V10SP2(X86)PXE无人值守批量部署实战指南

本文详细介绍了银河麒麟高级服务器操作系统V10SP2(X86)PXE无人值守批量部署的实战指南。通过PXE网络引导技术,实现全自动化、高效率的系统部署,特别适用于企业级数据中心和国产化替代项目。文章涵盖基础环境准备、关键服务配置、Kickstart高级定制及部署测试等核心内容,帮助用户快速掌握批量部署技巧。

weixin_42525637的博客 385

海思Hi3516CV610开发实战:在Ubuntu 22.04上从零构建嵌入式Linux开发环境

本文详细介绍了在Ubuntu 22.04上为海思Hi3516CV610开发板搭建嵌入式Linux开发环境的完整流程。从虚拟机配置、系统安装到基础环境设置,提供了实用技巧和常见问题解决方案,帮助开发者高效构建适用于智能视觉处理的开发环境。

weixin_29197699的博客 512

Hadoop javaAPI运行append时报错 lease recovery is in progress 处理办法

如集群节点少于3个在运行时就会抛异常;解决方案修改【dfs.client.block.write.replace-datanode-on-failure.policy=NEVER】 Configuration conf = new Configuration(); conf.set("dfs.client.block.write.replace-datanode-on-failure.poli...

xutao_ccu的博客 4268

高效静音黑科技 —— 单相直流无刷电机驱动器

然而,传统的BLDC电机驱动通常依赖于三相架构,电路复杂,成本高昂,且在低功率应用中显得有些“大材小用”。单相直流无刷电机驱动器作为一项高效、静音、经济的技术,正逐渐改变着各个领域的电机驱动方式。其精巧的控制策略、显著的优势以及广阔的应用前景,都预示着这项技术将在未来扮演越来越重要的角色。它相较于传统的三相驱动,显著简化了电路结构,降低了成本,尤其适用于低功率、对静音要求极高的应用场景。通过这些模块的协同工作,单相直流无刷电机驱动器能够实现对电机速度、扭矩的精确控制,并最大程度地降低噪声和振动。

wen8789的博客 1768

使用JAVA代码转word文档之动态生成数据填充(图文详解)

今天跟公司对接了业务,根据业务需求,乙方需求文档是word格式的,而我们的数据是动态数据,每生成一份数据,就要以word的形式给乙方一份邮件!这就给了我们的工作一定的难度和挑战! 通过阅读资料,团队的帮助以及自我测试,终于实现了这个功能!因为在搜索资料方面,发现各位博主讲的比较模糊,自己碰到了很多bug,浪费了很多宝贵的时间,所以今天写了这篇文章,希望对自己以后或者他人有所帮助! 操作第一步:先准...

huaiyan 7721

trae CN 配置ida的mcp教程

本文介绍了在TraeCN中配置IDA Pro MCP服务的完整步骤:1)准备IDA Pro 9.0+和Python 3.11+环境;2)安装MCP服务端并配置插件;3)生成MCP配置文件;4)在TraeCN中添加HTTP类型MCP服务(默认端口13337);5)测试连接。重点说明了HTTP配置方式的操作流程,包括手动启动服务、正确填写JSON配置等关键环节。

2401_87915504的博客 1958

[Hadoop shell命令]--处理hdfs上错误的block块并修复

情景:运行Spark程序出现报错1、报错信息:17/05/09 14:30:58 WARN scheduler.TaskSetManager: Lost task 28162.1 in stage 0.0 (TID 30490, 127.0.0.1): java.io.IOException: Cannot obtain block length for LocatedBlock{BP-20353...

欢迎来到我的博客,一起探索代码里的世界! 1万+

【教程】OpenClaw交互入口解析WebChat与message CLI

WebChat和message CLI作为OpenClaw的直接交互入口,大大丰富了系统的使用场景和灵活性。理解它们的工作原理、适用场景和设计哲学,对于充分利用OpenClaw的全部功能至关重要。WebChat作为Gateway WebSocket上的聊天UI,提供了直观的图形界面,适合人工调试和系统监控;作为命令行工具,通过HTTP协议与Gateway交互,适合自动化和脚本化场景。两者相辅相成,共同构成了OpenClaw的"控制平面"。掌握正确的使用顺序。

海兰 304

HDFS之append数据到已存在文件中

遇到一个问题,想往已存在的hdfs文件中直接添加数据,默认的话应该是被拒绝的。查看了一些资料,可以这样操作: 在pdfs-site.xml中添加append支持: <property> <name>dfs.support.append</name> <value>true</value> </property&...

weixin_30847939的博客 254

【图像处理】德里奇( Deriche)边缘检测器

Deriche边缘检测,同canny算法齐名,因此,知道canny原理,也有必要知道德里奇的检测原理。本篇专门针对德里奇算法展开讨论。

gongdiwudu的专栏 8685

15、SQL Server查询优化与CPU负载管理

本文深入探讨了SQL Server查询优化与CPU负载管理的关键技术,包括强制连接类型的使用、键查找问题的解决、索引设计的最佳实践、高CPU负载的排查与优化,以及并行性的利弊与调整策略。通过优化查询逻辑、合理设计索引、监控与管理CPU资源,可以显著提升SQL Server的性能和稳定性。适用于数据库开发人员和DBA进行性能调优参考。

pz8901234的博客 80

Lease 机制在分布式系统中的应用

Lease 中文叫租约,是一种广泛应用于分布式系统领域的协议,它是一种维护分布式系统一致性的有效工具。 Lease 通常定义为:颁发者在一定期限内給予持有者一定权利的协议。 Lease 表达了颁发者在一定期限内的承诺,只要未过期颁发者必须严格遵守 lease 约定的承诺。 Lease 的持有者在期限内使用颁发者的承诺,但 lease 一旦过期必须放弃使用或者重新和颁发者续约。 下面看看 l...

iteye_2022的博客 417

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

hadoop2.6修复openforwrite块

azkaban任务在日志解析时卡住,来公司后看到如下错误,fsck文件后发现一个块处于openforwrite状态,无法读。同事说昨天重启过节点,猜测是flume采集日志落盘在hdfs时未正常关闭块产生的问题,文件未损坏,只是租约未释放,2.7上有恢复命令(hdfs debug recoverlease),but我们用的是2.6,于是网上找了段代码,执行成功,特此留念。 代码: mk...

It-Self Blog 1081

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Hadoop浅解HDFS租约处理

问题提出在HDFS中可能同时有多个客户端在同一时刻写文件,如果不进行控制的话,有可能多个客户端会并发的写一个文件,所以需要进行控制,一般的想法是用一个互斥锁,在某一时刻只有一个客户端进行写操作,但是在分布式系统中有如下问题: 每次写文件前,客户端需要向master获取锁情况,他们之间的网络通讯太频繁。 当某个客户端获取锁之后和master失去联系,这个锁一直被该客户端占据,master和其他客户端不

Nobigo 2119

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

HDFS租约解析

转自:http://bigdatadecode.club/HDFS%E7%A7%9F%E7%BA%A6%E8%A7%A3%E6%9E%90.html 租约(Lease)是一种广泛应用与分布式系统领域的协议,主要用来维护分布式系统的一致性。 租约是在解决缓存一致性时被提出的。所谓租约,其实就是一个合同,即服务器给予客户端在一定期限内可以控制修改操作的权力。如果服务器要修改数据,首先要征求拥有

半日闲的博客 4491

HDFS租约机制

前言 在HDFS中,当每次客户端用户往某个文件中写入数据的时候,为了保持数据的一致性,此时其它客户端程序是不允许向此文件同时写入数据的。那么HDFS是如何做到这一点的呢?答案是租约(Lease)。换句话说,租约是HDFS给予客户端的一个写文件操作的临时许可证,无此证件者将不被允许操作此文件。本文我们将要深入分析HDFS内部的租约机制,包括租约的添加、移除、管理操作等等。

走在前往架构师的路上 1万+
上一篇: linux下fork和pthread混用的问题
下一篇: 补:lease add/recovery补充说明
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值