本文详细解析了HDFS中文件的写入流程，包括客户端调用FileSystem.create()创建文件，通过RPC与NameNode通信检查文件是否存在及权限，创建FSDataOutputStream对象。随后，通过FSDataOutputStream对象的write方法将数据块依次写入DataNode，并实现数据块的三副本存储。最后，关闭输出流并通知NameNode写入完成。
流程图如下：
- Client调用FileSystem.create(filePath),去与NN节点进行RPC通信，check该路径下的文件是否已经存在？是否有权限创建该文件？假如OK，就创建一个新的文件，但是不关联任何的block，返回一个FSDataOutputStream对象；假如不OK，就返回错误信息
- Client调用FSDataOutputStream对象的write方法，将第一个块写入第一个DN，第一个DN写完就传输给第二个DN,第二个DN写完就传输给第三个DN，当第三个DN写完，就返回一个ack packet给第二个DN，当第二个DN接受到第三个的DN的ack packet，就发送ack packet 给第一个DN,当第一个DN接受到第二个的DN的ack packet，就返回ack packet 给FSDataOutputStream对象，意思标识第一个块 三个副本写完；然后其余的块依次这样写
- 当文件全部写完，Client调用FSDataOutputStream对象的close方法，关闭输出流，flush缓存区的数据包。
- 再调用FileSystem.complete(),告诉NN节点写入成功。（对于操作来说 无感知 透明的）
扫一扫
656
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
