[hadoop] DataNode的工作流程和工作机制

HDFS的新节点上线和旧节点退役:

https://blog.youkuaiyun.com/a755199443/article/details/101422552

工作流程

1 DataNode启动后先向NameNode注册

2 注册成功后NameNode响应注册成功

3 DataNode每周期(1小时)上报所有块信息

4 DataNode每三秒与NameNode做一次心跳连接,心跳返回结果带有NameNode给该DataNode的命令

工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。