hadoop 设置datanode的心跳时间

最新推荐文章于 2022-03-05 20:10:02 发布

weixin_34319111

最新推荐文章于 2022-03-05 20:10:02 发布

阅读量129

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/u/1045177/blog/1476120

本文探讨了HDFS中DataNode心跳机制的工作原理及其配置参数。详细解释了默认情况下DataNode被认定为失效的时间计算方式，并提供了具体配置示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

http://www.cnblogs.com/xd502djj/p/4645298.html

做作业的过程中发现，把一节点停掉，dfsadmin和50070都无法马上感知到一个data node已经死掉

HDFS默认的超时时间为10分钟+30秒。
这里暂且定义超时时间为timeout
计算公式为：
timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval

而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认的大小为3秒。
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒
所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒

<property>
      <name>heartbeat.recheck.interval</name>
      <value>5000</value>
</property>

<property>
      <name>dfs.heartbeat.interval</name>
      <value>3</value>
</property>