HDFS的读写流程

HDFS的读写流程

1、HDFS的写操作

1、客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父父目录是否存在

2、namenode返回是否可以上传

3、客户端请求第一个block上传到哪几个DataNode服务器上

namenode返回3个DataNode节点，分别为dn1，dn2，dn3

4、客户端请求dn1上传数据，dn1收到请求之后会继续调用dn2，dn2调用dn3，将这个通信管道建立完成

5、dn1，dn2，dn3逐级应答客户端，客户端开始往dn1上传第一个block，（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答

当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。

2、HDFS的读流程

1、客户端向namenode请求读取一个文件，namenode通过查询元数据，找到哦啊文件块所在的DataNode地址

2、挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据

3、DataNode开始传输数据给客户端从磁盘里面读取数据放入流，以packet为单位来做校验）。

4、客户端以packet为单位接收，先在本地缓存，然后写入目标文件。