hadoop DataNode节点超时

最新推荐文章于 2025-08-05 14:23:32 发布

转载最新推荐文章于 2025-08-05 14:23:32 发布 · 585 阅读

文章标签：

#hdfs #文件系统

大数据专栏收录该内容

20 篇文章

订阅专栏

本文介绍了HDFS中DataNode的超时时间设置原理及计算方式，并详细解释了冗余数据块如何自动删除的过程。DataNode与NameNode通信失败后的判定时间由特定参数决定；而DataNode恢复后多余的副本则通过特定参数控制的周期性检查来清理。

原文地址：http://blog.youkuaiyun.com/beidiqiuren/article/details/51759612

DataNode节点超时时间设置

DataNode进程死亡或网络节点故障造成DataNode无法与NameNode通信，NameNode不会立即把该节点判定为死亡，要经过一段时间，这段时间成为超时时长。HDFS默认的超时时长为10分钟+30s。
如果定义超时时长为timeout，则超时时长的计算公式为：
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
默认的heartbeat.recheck.interval为5分钟（单位：毫秒）
dfs.heartbeat.interval为3秒（单位：秒）
在hdfs-site.xml中设置。

HDFS冗余数据块的自动删除

在DataNode被判定死亡之后，HDFS马上开始数据块的容错拷贝。
当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的备份数超过了设定的备份数，这些多余的数据块经过很长一段时间才会被完全删掉，这个时间取决于hdfs-site.xml中的dfs.blockreport.intervalMsec参数。默认为一小时