HDFS读写流程

HDFS读写流程

一: HDFS读文件流程

    1：Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象;

   2：Client调用FSDataInputStream对象的read()方法,

 a. 去与第一个块的最近的datanode进行read,读取完后,会check（审核）,假如successful（审核通过）,会关闭与当前Datanode通信;(假如check fail（审核失败）,会记录失败的块+Datanode信息,下次就不会读取;那么会去该块的第二个

Datanode地址读取)

      b. 然后去第二个块的最近的Datanode上的进行读取,check后,会关闭与datanode的通信。

 c. 假如block列表读取完了,文件还未结束,那么FileSystem会从Namenode获取下一批的block的列表。

   3：Client调用FSDataInputStream.close()方法,关闭输入流.

下面是流程图：

二：HDFS写文件流程

1：Client调用FileSystem.create(filePath)方法,去与Namenode进行rpc通信, check 该路径的文件是否存在以及有没有权限创建该文件,假如ok,就创建一个新文件,但是并不关联任何block,返回一个FSDataOutputStream对象;(假如not ok,就返回错误信息)

2：Client调用FSDataOutputStream对象的write()方法,会将第一个块写入第一个Datanode,第一个Datanode写完传给第二个节点,第二个写完传给第三节点,当第三个节点写完返回一个ack packet给第二个节点,第二个返回一个ack packet给第一个节点,第一个节点返回ack packet给FSDataOutputStream对象,意思标识第一个块写完,副本数为3;然后剩余的块依次这样写;

3：当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流,flush缓存区的数据包;

4：再调用FileSystem.complete()方法,告诉Namenode节点写入成功。

下面是流程图：