一丶存储 HDFS内部运行原理
我现在在操作着客户端上传文件,现在我需要启动HDFS来去上传,我输入我上传文件的命令,这个时候客户端向NameNode发出信号,然后NameNode将元数据(存储着一个文件块的大小,默认的副本数,和DataNode的数量)发回给我这个上传文件的客户端,紧接着会将我要发的文件切成元数据标准的块数,然后将分成的文件块(依照NameNode元数据中的DataNode信息)按照默认值(可以设置)依次放入三个DataName中,同时依次将放入成功的信息返回(这样下一个文件块才能放入),直到文件块最后输完。文件上传成功。
在DNFS中还有一个RPC心跳机制,可以动态的将DataNode的状态发给NameNode,如果出现宕机的情况,这个时候NameNode就会调整文件块上传的DataNode。(DataNode可以看作是很多台电脑,NameNode也是一台电脑但是他是中断处理机管理着下属的NamaNode)。


比较浅薄的认识,望斧正。
本文详细解析了HDFS的存储过程,包括客户端如何通过NameNode上传文件,以及文件块如何分配到DataNode上。同时介绍了HDFS的RPC心跳机制,确保DataNode状态实时同步至NameNode,实现故障时的数据块重新分配。
222

被折叠的 条评论
为什么被折叠?



