HDFS数据块损坏是如何处理的？_hdfs debug recoverlease -path-优快云博客

本文链接：https://blog.youkuaiyun.com/zhou12314/article/details/103543038

HDFS数据块损坏是如何处理的？

数据块损坏恢复流程

在namenode中对于进行数据块副本的管理都是在FSnameSystem中，其中有一个成员变量 corruptReplicats
,其中就存储着损坏数据与DataNode的映射，当某个数据块损坏后（DataNode可以通过数据块扫描器获知，通过心跳发送给namenode）,namenode会将损坏的数据块加到corrupReplicats中，当损坏的数据块在DataNode上删除后会在corrutpReplicatS中也删除。
当部分副本出现损坏时，namenode进行数据块复制时，有一个数据结构叫做underReplicatedBlocks对象，其中就有list保存需要进行数据块复制的数据块，对于数据块复制是有优先级的，underReplicatedBlocks的getPriority()会返回数据块的优先级，等待复制的对象从underReplicatsBlocks中读取出来之后会生成复制请求，并将请求放入FSnameSystem.pendingReplications中。pendlingReplication是一个数据块到数据块复制信息pendingBlockInfo的映射，pendlingReplication保存了数据块复制的时间和复制副本数，如果复制没成功会被重新插入到underReplicatedBlocks对象中，重新产生复制请求。