简单搞定hdfs读写流程

1.HDFS写数据流程
        1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。

2)namenode返回是否可以上传。

3)客户端请求第一个 block上传到哪几个datanode服务器上。

4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。

5)客户端请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成

6)dn1、dn2、dn3逐级应答客户端

7)客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答

8)当一个block传输完成之后,客户端再次请求namenode上传第二个block的服务器。(重复执行3-7步)

4.1.2 网络拓扑概念
                在本地网络中,两个节点被称为“彼此近邻”是什么意思?在海量数据处理中,其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。

        节点距离:两个节点到达最近的共同祖先的距离总和。

        例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述。
        Distance(/d1/r1/n1, /d1/r1/n1)=0(同一节点上的进程)
        Distance(/d1/r1/n1, /d1/r1/n2)=2(同一机架上的不同节点)
        Distance(/d1/r1/n1, /d1/r3/n2)=4(同一数据中心不同机架上的节点)
        Distance(/d1/r1/n1, /d2/r4/n2)=6(不同数据中心的节点)



2.机架感知(副本节点选择)

   第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。

        第二个副本和第一个副本位于相同机架,随机节点。

        第三个副本位于不同机架,随机节点。



3.HDFS读数据流程



4.写入数据时,如果希望数据被其他client立即可见,调用如下方法

FsDataOutputStream.hflus();        //清理客户端缓冲区数据,被其他client立即可见

FsDataOutputStream.hsync();              //清理客户端缓冲区数据,被其他client不能立即可见





### HDFS读写流程 #### 写入流程 HDFS 的写入过程是一个复杂的过程,涉及客户端、NameNode 和 DataNode 的交互。以下是详细的描述: 1. **创建文件** 当客户端调用 `FileSystem.create()` 方法时,会触发 DistributedFileSystem 中的 DFSClient 向 NameNode 发送 RPC 请求以创建文件[^3]。此操作会在 NameNode 上记录该文件的元数据信息。 2. **获取 Block 分配** 客户端再次向 NameNode 发起请求,询问可以存储数据的第一个 block 的位置以及负责存储该 block 的 DataNode 列表。NameNode 返回一组适合的数据节点列表,通常基于机架感知策略选择最优节点组合[^3]。 3. **建立 Pipeline** 客户端与第一个 DataNode 建立连接,并通过它传递到第二个 DataNode,依此类推直到最后一个 DataNode 形成一个 pipeline。这个 pipeline 负责实际的数据流传输[^5]。 4. **数据写入** 数据从客户端按照 packet 大小分块并通过 pipeline 流式传输至各个 DataNode。每个 packet 在发送前会被附加校验和以便后续验证其完整性。当某个 packet 成功复制到所有目标 DataNode 后,这些 DataNode 将返回确认消息给上游 node 直至上游 client 收集齐所有 acks 才能继续下一批 packets 的发送[^5]。 5. **关闭文件** 文件写完成后,客户端通知 NameNode 关闭文件。此时需等待所有 blocks 的所有 packets 都得到确认回复后才会正式结束整个写入流程并释放资源[^5]。 #### 读取流程 相对而言,HDFS 的读取过程较为简单,主要包括以下几个方面: 1. **打开文件** 用户程序通过调用 `FileSystem.open()` 来访问所需文件的内容。同样地,这一动作最终转化为由 DFSClient 对应实现的具体逻辑并向 NameNode 提交查询请求定位首个 block 及关联 datanodes 地址信息[^2]。 2. **联系最近 DataNode 获取数据** 根据 name service 给定的结果挑选离自己较近或者负载较低的那个 source 开始下载对应部分资料;如果当前 segment 已经完全加载完毕,则重复上述步骤直至整份文档都被提取出来为止[^2]。 3. **错误处理机制** 如果在读过程中遇到失败情况比如网络中断等问题,则尝试切换其他可用副本重新拉取丢失片段从而保障服务连续性和可靠性[^2]。 ```java // Java Code Example for Reading a File in HDFS Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path("/example/file.txt"); FSDataInputStream inputStream = fs.open(path); byte[] buffer = new byte[1024]; int bytesRead = inputStream.read(buffer); while (bytesRead > 0) { System.out.println(new String(buffer, 0, bytesRead)); bytesRead = inputStream.read(buffer); } inputStream.close(); fs.close(); ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值