HDFS读写流程基本介绍(详细)

HDFS读写流程

1.0HDFS写数据流程
1.0.0 概述

1. 客户端要向HDFS写数据，首先要和namenode通信以确认可以写文件并获得接受文件block的datanode，然后，客户端按顺讯将文件逐个block传递给相应的datanode，并由接收到block的datanode负责向其他的datanode复制block的副本(block块大写:我们开发那会，服务器内存小，block块大小按64m,现在的是128m)
2. 1.0.2详细步骤图
   
   1.0.3详细步骤解析(重点)
3. 1，根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。
4. 2，namenode返回是否上传
5. 3，client请求第一个block该传输到那些datanode服务器上
6. 4，namenode返回三个datanode服务器ABC
7. 5，client请求3台dn中的一台a上传数据，A收到请求会继续调用B，然后B调用C，逐级返回客户端。
8. 6，client开始往A上传第一个block(先从磁盘读取数据放到一个本内存缓存)，以packet为单位，A收到一个packet就会传给B,B传给C;A每传一个packet会放入一个应答队等待应答。
9. 7，当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

2.0HDFS读数据流程

2.0.1概述
客户端将要读取文件的路径发给namenode，namenode获取文件的元信息(主要是block存在位置信息)返回给客户端，客户端根据返回的信息找到相应的datanode、逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件。

2.0.2详细步骤图

2.0.0详细步骤解析(重点）

1. 跟namenode通信查询元数据，找到文件块所在的datanode服务器
2. 挑选一台datanode(就近原则，随机选择)服务器，请求选择socket流。
3. datanode开始发送数据(从磁盘里面地区数据放入流，以packet为单位来做校验)
4. 客户端以package为单位接收，现在本地缓存，然后写入目标文件。

3.0hadoop shuffle介绍

3.0.1概述
hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。
shuffle的主要工作是从Map结束到Reduce开始之间的过程。

shuffle阶段又可以分为Map端shuffle和Reduce端shuffle

Map端的shuffle

1. Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS
2. 每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时候，系统将会启动一个线程将缓冲区的数据写到磁盘，这个过程叫做spill.
3. 在spill写入之前，会先进行二次排序，首先根据数据所属的partition进行排序，然后每个partition中的数据再按key来排序。
4. partition的目的是将记录划分不同的Reduce上去，以期望能够达到负载均衡，以后的Reducer就会根据partition来读取自己对应的数据。
5. 接着运行combiner(如果设置了的话),combiner的本质也是一个Reducer，其中的目的是对将要血热到磁盘的文件能行一次处理，这样，写入到磁盘的数据就会减少。
6. 之后将数据写到本地磁盘产生spill文件(spill文件保存在{mapred.local.dir}制定目录中，Map任务结束就会被删除）。
7. 7.最后，每个Map任务可能产生多个spill文件，在每个Map任务完成前，互系通过多路归并将这些spill文件归并成一个文件。至此，Map的shuffle过程就结束了。

**Reduce端和shuffle

1. Reduce端的shuffle主要包括三个阶段，copy sort(merge)和reduce。
2. 首先将Map端产生的输出Ian拷贝到Reducer端，但每个reducer端如何知道自己应该处理那些数据呢? 因为Map端进行partition的时候，实际上就相当于指定了每个Reduce要处理的数据(partition就对应了 Reduce),所以Reduce在拷贝数据的时候只需要拷贝与自己对应的partition中的数据即可。
3. 每个Reduce会处理一个或者多个partition，但需要先将自己对应的partition中的数据从每个Map的输出结果中拷贝过来。
4. 接下来就是sort阶段，也成为了merge阶段，因为这阶段的只要工作是执行了归并顺序。5从Map端拷贝到Reduce端的数据都是有序的，所以很适合归并排序。
5. 最后再Reduce端生成一个较大的文件作为Reduce的输入。
6. 最终就是Reduce过程了，在这个过程中产生了最终的输出结果，并将其写到HDFS上。
   **