HDFS06 DataNode

最新推荐文章于 2025-04-15 21:02:15 发布

原创最新推荐文章于 2025-04-15 21:02:15 发布 · 233 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据

本文详细解析HDFS DataNode的工作机制，包括数据块存储、周期性报告、心跳机制以及如何确保数据完整性。重点介绍DataNode如何检查磁盘损坏，并探讨掉线时限设置。

DataNode

文章目录

DataNode

DataNode工作机制

一个数据块在DataNode上以文字形式存储在磁盘上，包括一下两个文件。

1.DataNode启动后告诉NameNode本机的块信息(块是否完好)，并周期性(默认6个小时)上报所有块消息(块是否完好)。

如DataNode1中Block1的数据长度、校验和、时间戳，Block3的数据长度、校验和、时间戳

DN先扫描自己节点块信息列表，默认6小时扫描一次，扫描自己的块是否有损害。

<property> 
  <name>dfs.datanode.directoryscan.interval</name> --数据节点自查时间间隔
  <value>21600s</value> 
  <description>Interval in seconds for Datanode to scan data 
  directories and reconcile the difference between blocks in memory and on 
the disk. 
  Support multiple time unit suffix(case insensitive), as described 
  in dfs.heartbeat.interval. 
  </description> 
</property>

DN再向NN汇报当前解读的信息，时间间隔默认6小时。

<property>
  <name>dfs.blockreport.intervalMsec</name> --块信息报告的时间间隔ms
  <value>21600000</value> 
  <description>Determines block reporting interval in 
milliseconds.</description>
</property>

2.心跳每3s一次，DataNode->NameNode我还活着，心跳返回结果带有NameNode->DataNode的命令。

3.超过10分钟+30s没有收到心跳的话，则认为该节点不可用。就认为该节点挂了，不会再向其传输信息。

数据完整性

DataNode 节点保证数据完整性的方法。

1.当 DataNode 读取 Block 的时候，它会计算 CheckSum。
2.如果计算后的 CheckSum，与 Block 创建时值不一样，说明 Block 已经损坏。
3.Client 读取其他 DataNode 上的 Block。
4.常见的校验算法 crc（32），md5（128），sha1（160）
5.DataNode 在其文件创建后周期验证 CheckSum。

DataNode掉线时限参数设置

注意
hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒，dfs.heartbeat.interval 的单位为秒。

<property> 
    <name>dfs.namenode.heartbeat.recheck-interval</name> 
    <value>300000</value> 
</property> 
 
<property> 
    <name>dfs.heartbeat.interval</name> 
    <value>3</value> 
</property>