HDFS的读写流程

1. 文件读流程
   

   

   1.Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的
   block列表( 也包含该列表各block的分布在Datanode地址的列表 ),也就是返回FSDataInputStream对象;
   2.Client调用FSDataInputStream对象的read()方法,
   • a. 去与第一个块的最近的datanode进行read,读取完后,会check,假如successful,会关闭 与当前
   Datanode通信;(假如check fail,会记录失败的块+Datanode信息,下次就不会读取;那么会去该块的第二个
   Datanode地址读取)
   • b. 然后去第二个块的最近的Datanode上的进行读取,check后,会关闭与此datanode的通信。
   • c. 假如block列表读取完了,文件还未结束,那么FileSystem会从Namenode获取下一批的block的列表。
   ( 当然读操作对于Client端是透明的,感觉就是连续的数据流 )
   3.Client调用FSDataInputStream.close()方法,关闭输入流

2. 文件写流程
   

   1.Client调用FileSystem.create(filePath)方法,去与Namenode进行rpc通信, check该路径的文件
   是否存在以及有没有权限创建该文件 ,假如ok,就创建一个新文件,但是并不关联任何block,返回一
   个FSDataOutputStream对象;(假如not ok,就返回错误信息,所以写代码要try-catch)
   2.Client调用FSDataOutputStream对象的write()方法,会将第一个块写入第一个Datanode,第一个
   Datanode写完传给第二个节点,第二个写完传给第三节点,当第三个节点写完返回一个ack packet给
   第二个节点,第二个返回一个ack packet给第一个节点,第一个节点返回ack packet给
   FSDataOutputStream对象,意思标识第一个块写完,副本数为3;然后剩余的块依次这样写;
   ( 当然写操作对于Client端也是透明的 )
   3.当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流,flush缓存
   区的数据包;
   4.再调用FileSystem.complete()方法,告诉Namenode节点写入成功。
   
   
   

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31496956/viewspace-2199365/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31496956/viewspace-2199365/