本文介绍了HDFS中DataNode的Block Scanner、Volume Scanner和Disk Checker如何确保文件系统的健康。Block Scanner进行常规扫描验证Block，Volume Scanner检查可疑Block并维护扫描进度，Disk Checker则关注磁盘硬件状态。当检测到问题时，HDFS会标记损坏Block并从其他副本复制。配置参数如dfs.block.scanner.volume.bytes.per.second和dfs.datanode.directoryscan.interval等控制检查频率和速度。
文章来源：HDFS DataNode Scanners and Disk Checker Explained
以下只简单翻译部分文字，详情看英文原文。
简单的概念
一个文件包含多个block，一个block有一个或多个副本。
block存储在每台机器的磁盘上，并且包含个blk_xxx.meta信息，meta中包含crc校验信息等。
这篇文章为了解答以下问题
datanode什么时候检查blocks，如何做的检查？
datanode怎么保证内存（in-memory）中的metadata和本地磁盘保持一致？
如果发生block读失败，是因为磁盘错误吗？还是因为其他间歇性的错误（例如网络中断）？
Block Scanner & Volume Scanner
每个datanode有一个block scanner，一个block scanner包含有多个volume scanner，每个volume scanner扫描一个磁盘。这里是多线程的。volu
最低0.47元/天 解锁文章
扫一扫
236
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
