HDFS 从客户端写入到 DataNode 时，ACK 是否三个备份都写成功之后再确认成功操作？

最新推荐文章于 2025-01-07 19:16:01 发布
原创 最新推荐文章于 2025-01-07 19:16:01 发布 · 3k 阅读 · 14 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。哈哈哈
文章标签：

#hdfs #数据 #备份

本文详细解析了HDFS的写文件流程，包括数据写入的步骤、ACK确认机制及异常处理方式。揭示了只要成功写入的节点数量达到dfs.replication.min（默认为1），即认为写操作成功。

ACK 是否三个备份都写成功之后再确认成功操作？

不是的，只要成功写入的节点数量达到dfs.replication.min(默认为1)，那么就任务是写成功的

正常情况下：

① 在进行写操作的时候（以默认备份3份为例），DataNode_1接受数据后，首先将数据写入buffer，再将数据写入DatNode_2，写入成功后将 buffer 中的数据写入本地磁盘，并等待ACK信息

② 重复上一个步骤，DataNode_2写入本地磁盘后，等待ACK信息

③ 如果ACK都成功返回后，发送给Client，本次写入成功

如果一个节点或多个节点写入失败：

① 只要成功写入的节点数量达到dfs.replication.min(默认为1)，那么就任务是写成功的。然后NameNode会通过异步的方式将block复制到其他节点，使数据副本达到dfs.replication参数配置的个数

1、HDFS写文件过程分析
http://shiyanjun.cn/archives/942.html

2、Hadoop Pipeline详解
http://dj1211.com/?p=178

1、Hadoop深入学习：解析HDFS的写文件流程
http://flyingdutchman.iteye.com/blog/1900536

2、HDFS 1. 读写流程剖析
https://www.jianshu.com/p/7d1bdd23c460

3、HDFS 异常处理与恢复
http://www.cnblogs.com/mindwind/p/4833098.html

【HDFS】写数据时，下游Datanode的ack是在落盘时还是在网络收到数据时发出的？
LifeIsGood
04-02 448
【HDFS】写数据时，下游Datanode的ack是在落盘时还是在网络收到数据时发出的？
【HDFS】调试慢节点pipiline ack信息
LifeIsGood
12-02 326
【HDFS】调试慢节点pipiline ack信息
HDFS 文件读写存机制
KeePromise的博客
01-26 1087
文章目录HDFS 文件(读写存)机制1.文件存储副本放置策略(以块为单位放置，而不是文件为单位)2.文件读取机制注意：3.文件写入机制1.Packet，chunk2.写入机制3.注意：4.数据写入期间datanode发生故障参考：《Hadoop 权威指南（第四版）》 HDFS 文件(读写存)机制 1.文件存储 HDFS上最基本的存储文件的基本单位是数据块(Block)。 HDFS块默认大小为128M(2.0)，64M(1.0)。 思考：当文件大小1M，则不会实际占据128M内存，但是块大小还是128M。较多
Hadoop异常：Bad connect ack with firstBadLink
zxwiiiii的专栏
01-03 1634
Hadoop异常：Bad connect ack with firstBadLink          hadoop抛出如下异常： Java代码   [INFO] Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink xxx.xxx.x
DataNode上执行文件读写时报java.io.IOException: Bad connect ack with firstBadLink as 192.168.X.X错误解决记录...
weixin_30670925的博客
08-08 501
今天在集群上看到有两个任务跑失败了： Err log: In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum...
深度分析分布式文件系统（Hadoop HDFS）客户端写入机制
守护石大数据
11-30 1447
1. 开篇 Hadoop分布式文件系统（HDFS）是Hadoop大数据生态底层的数据存储设施。因其具备了海量数据的分布式存储能力，并针对不同批处理业务的大吞吐数据计算承载力，使其综合复杂度要远远高于大多数存储系统。 本文重点从客户端文件向HDFS写数据的角度切入，通过架构体系的分析绘制，源代码的层层分析，逐渐深入Hadoop内部机制，使其流程逐渐明朗化。HDFS数据写入过程是Hadoop核心技术中最复杂的流程之一，对其原理的掌握需要花费一些时间和精力，但这部分内容也是分布式文件系统架构机制的精髓所在。
Hadoop--客户端读写hdfs数据
认真学代码的shell
05-08 1351
1.读数据 （1）客户端通过调用FIleSystem对象的open()方法来打开希望读取的文件，对于hdfs来说，这个对象是分布式文件系统的一个实例。 （2）DistributedFileSystem通过使用PRC（远程方法调用）来调用namenode，以确定文件起始块的位置。对于每一个块，namenode返回存有该块副本的datanode的地址。此外，这些datanode根据他们与客户端的距离...
HDFS读写流程
金州饿霸吃不饱的博客
01-07 1019
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
Hdfs 客户端写过程 源码解析
METON的博客
08-15 675
承接上文Hdfs客户端读过程；接着来分析一下hdfs客户端写入文件的过程；说道到写文件过程，都会知道写入文件的过程如下示意图： 客户端写过程示意图： 总体来说，最简单的HDFS写文件大体流程如下： 客户端获取文件系统实例FileSyStem，并通过其create()方法获取文件系统输出流outputStream。 首先会联系名字节点NameNode，通过ClientProtocol.create()进行rpc调用，在名字节点上创建文件元数据，并获取文件状态FileStatus； ...
HDFS读写流程（重要）
weixin_43742704的博客
09-20 449
HDFS写流程 1. 首先客户通过DFS，向NameNode发起写请求 2. NameNode进行校验，查看客户端是否有权限以及写路径是否存在 3. 校验成功，NameNode响应客户端，可以上传文件 4. 客户端请求上传第一个block，等待NameNode响应上传到哪个dataNode
一个HDFS Error
渴死的火烈鸟
06-11 232
  ERROR: hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink While running a job once I got the following exception 10/12/10 21:09:05 INFO h...
HDFS内副本和块的状态分析
happy19870612's blog
11-16 1411
一 数据块(Block)和数据块副本(Replica)关系 Block是HDFS数据块的基本抽象，实现可Writable接口，可以序列化。 是NameNode数据块的表示。   Replica是DataNode数据块的表示，用于描述数据块副本。   二 Block和Replica状态 2.1Block 状态 UnderConstruction:表示这一个数据块正在构建，或者说正在被写
HDFS 中向 DataNode 写入数据失败了怎么办
HeatDeath的博客
01-09 4386
如果向DataNode写入数据失败了怎么办？ 如果这种情况发生，那么就会执行一些操作： ① Pipeline数据流管道会被关闭，ACK queue中的packets会被添加到data queue的前面以确保不会发生packets数据包的丢失 ② 在正常的DataNode节点上的以保存好的block的ID版本会升级——这样发生故障的DataNode节点上的block数据会在节点恢复正常后被删除
3. HDFS原理深聊一下
庐州小白的博客
10-19 687
HDFS 是一个分布式文件系统，我们在前面也稍微讨论了一下集中式文件系统的一些弊端，我们还是从之前的那张HDFS架构图出发。 当我们开始关注线条所代表的数据流向后，其实上图就可以看作是一个HDFS数据读写的流程图了。在探讨具体的读写之前，我们先看看不同节点中存储的数据。 第3.1节 再谈不同的节点 应用程序所在的Client端先过滤掉，因为这个端只是承载了与用户的交互作用，其实就是一台接口机。用户在这台机器写代码、调用API与HDFS进行交互。 我们前面说过，NameNode是集群的主控节点，管理HDF
HDFS的数据读取与写入
andyguan01_2的博客
04-09 2965
一、HDFS的数据读取流程 1、客户端通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象是DistributedFileSystem的一个实例； 2、DistributedFileSystem通过使用远程过程调用（RPC）来调用NameNode，以确定文件起始块的位置； 3、对于每个块，NameNode返回存有该块副本的DataNode地址。此外，...
[HDFS的读写流程及副本放置机制]
努力努力再努力博客
03-09 682
1.写流程 FSDataOutputStream 这个过程对于我们操作者而言是无感知的 1.Client调用FileSystem.creat(filePath)方法，去与NN进行【RPC】通信，nn check该路径 文件是否存在以及有没有权限创建该文件。假如OK，就创建一个新的文件，但是不关联任何的block， nn根据上传的文件大小且块大小且副本数，计算多少块，以及块存放...
Hadoop 学习总结之一：HDFS简介
diebiaosang4496的博客
03-14 531
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和...
从零开始了解大数据(三)：HDFS分布式文件系统篇
Rye的博客
12-12 2103
Hadoop分布式文件系统（HDFS）是大数据领域的关键组件，负责大规模数据的可靠存储与管理。通过探索HDFS的基础知识、工作机制及其内在原理，将增进对这一技术的理解，并为实际应用提供有力支持。
HDFS写数据流程
weixin_62612614的博客
10-31 167
写数据流程： 1.客户端通过调用，分布式文件系统对象中的Create创建一个文件。DistributedFileSystem会通过RPC调用的名称节点中的文件系统命名空间创建一个新文件。 2.名称节点通过多种验证，确保请求客户端y拥有创建文件的权限，新的文件不存在文件系统中。当所有的验证通过时，名称节点就会创建一个新文件的记录。 3.客户端调用FSDataOutputStearm的Write函数，向对应的文件写入数据 4.当客户端开始写入数据时，DFSDataOutputStream会将文件分割，然
深入学习HDFS的读取和写入流程之后，将HDFS 的相关命令试用一遍，并观察namenode数据目录和datanode数据目录的变化，
最新发布
03-12
<think>好的，我现在需要详细解释HDFS的读写流程，并结合常用命令操作示例，同时说明操作后namenode和datanode数据目录的变化。首先，我需要回忆HDFS的基本架构，然后分步骤整理读写流程，确保每个步骤正确无误，并且符合用户提供的引用内容。 首先，HDFS的写流程。根据引用[1]，步骤包括客户端向NameNode请求上传文件，NameNode检查权限和元数据，返回可用DataNode列表，客户端将数据分块写入这些节点，最后发送完成信号。这里需要注意强一致性和最终一致性的区别，如引用[2]所述，HDFS通常是强一致性，即所有DataNode写入完成后才汇报。需要明确DataNode之间的管道传输过程，以及ack确认机制。 然后是读流程。引用[4]提到客户端向NameNode请求下载，NameNode返回DataNode地址，客户端就近读取，接收数据包并写入本地。需要强调NameNode不直接参与数据传输，只提供元数据，以及客户端如何选择最近的DataNode。 接下来是常用命令部分，用户希望实践命令并观察数据目录变化。需要列举hadoop fs -put、-get、-ls等命令示例，并说明这些操作对namenode和datanode目录的影响。例如，上传文件会更新namenode的fsimage和edit log，同时在datanode的存储目录中生成块文件。需要指出具体路径，如NameNode的目录通常在hadoop.tmp.dir下的name目录，DataNode在相同配置下的data目录。 数据目录变化方面，namenode保存的是元数据，如fsimage和edits，而datanode存储实际的数据块和元信息文件。写入文件时，datanode的current目录会增加对应的blk_前缀文件和.meta文件。需要确认这些细节是否正确，可能需要参考HDFS官方文档或可靠的资料，但根据用户提供的引用，可以推断出这些结构。 然后需要生成相关问题，确保问题与HDFS流程、一致性模型、命令使用和数据存储结构相关。例如，如何保证数据一致性，如何查看元数据，强一致性与最终一致性的区别等。 最后，检查是否所有引用都正确使用，比如引用[1]提到发送完成信号，引用[2]解释一致性模型，引用[4]的读流程图。确保回答结构清晰，分步骤说明，并包含代码块示例的命令行操作。 可能需要注意的点：确认hadoop命令是否正确，比如hadoop fs -put是否确实是常用命令，以及NameNode格式化命令是否正确。另外，数据目录的具体路径可能因Hadoop配置而异，但通常默认是在hadoop.tmp.dir指定的路径下，需要指出这一点，避免用户找不到目录。 总结步骤： 1. 详细写流程，分步骤说明客户端、NameNode、DataNode的交互。 2. 详细读流程，强调客户端如何获取数据位置并读取。 3. 常用命令示例，包括上传、下载、查看文件。 4. 数据目录变化，分别说明NameNode和DataNode的目录结构及文件变化。 5. 生成相关问题，涵盖流程、优化、一致性、故障处理等方面。</think>### HDFS读写流程详解及命令操作示例 #### 一、HDFS写流程 1. **客户端请求上传**：客户端向NameNode发送文件上传请求，NameNode检查权限及元数据是否存在[^1]。 2. **分配DataNode**：NameNode返回可用的DataNode列表（如dn1、dn2、dn3），形成数据传输管道[^4]。 3. **数据分块写入**： - 客户端将文件按块（默认128MB）切分，依次传输到第一个DataNode。 - DataNode通过管道将数据副本同步写入后续节点，每个副本写入完成后发送ack确认[^2]。 4. **完成信号上报**：所有DataNode写入完成后，客户端通知NameNode写入成功（强一致性）[^2]。 #### 二、HDFS读流程 1. **客户端请求下载**：客户端向NameNode获取文件元数据（块位置信息）。 2. **就近读取**：客户端根据网络拓扑选择最近的DataNode发起读取请求。 3. **数据传输**：DataNode以数据包（packet）为单位传输数据，客户端缓存后写入本地文件。 #### 三、常用HDFS命令操作示例 ```bash # 1. 上传本地文件到HDFS hadoop fs -put /local/path/file.txt /hdfs/path/ # 2. 下载HDFS文件到本地 hadoop fs -get /hdfs/path/file.txt /local/path/ # 3. 查看HDFS文件列表 hadoop fs -ls /hdfs/path/ # 4. 格式化NameNode（谨慎使用！） hadoop namenode -format ``` #### 四、数据目录变化分析 1. **NameNode目录**（默认路径：`/tmp/hadoop-${user}/dfs/name/`）： - **fsimage**：存储文件系统元数据快照。 - **edits**：记录元数据操作日志（如文件创建、删除）。 - 执行`hadoop namenode -format`会清空该目录并重建元数据[^1]。 2. **DataNode目录**（默认路径：`/tmp/hadoop-${user}/dfs/data/`）： - **current/BP-xxx**：存储数据块文件（如`blk_1073741825`）及校验文件（`.meta`后缀）。 - 上传文件后，目录中会增加对应块文件；删除文件则标记块为废弃，等待定期清理。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值