Client以数据块（Block）为单位进行数据存储。按照我们一般的理解，Client向HDFS写入数据，首先需要向NameNode申请Block；申请Block完成后，申请DataNode（包括备份存储的DataNode
Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
Hadoop HDFS的写入流程中，Client以Block为单位存储数据。首先，Client向NameNode申请Block，NameNode在分配Block的同时将其记录在文件的INode中。接着，NameNode提供DataNode列表给Client，但不立即建立Block到DataNode的映射。Client写入数据后，DataNode会周期性地向NameNode汇报存储的Block，以确保数据可靠性。这种设计可能避免了在数据传输错误时更新错误的block→machinelist。至于DataNode报告Block列表的频率，文中未具体说明。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
