HDFS 写流程

最新推荐文章于 2024-01-26 18:23:49 发布
最新推荐文章于 2024-01-26 18:23:49 发布
阅读量519 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop学习与使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smile0198/article/details/74936898
博客预告将介绍HDFS 1.0架构，但具体内容待写。HDFS 1.0架构是信息技术领域大数据开发方面的重要内容，后续将详细呈现相关信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

待写，敬请期待

hdfs1.0架构：


000005 - HDFS 读写流程
张--小涛涛
06-24 1440
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
HDFS读写流程
金州饿霸吃不饱的博客
01-07 903
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
HDFS的读写流程步骤（附图文解析）
热门推荐
奇迹虎虎的博客
03-04 3万+
HDFS的写入流程与读取流程，附图文步骤解析
Hadoop-HDFS（二）写流程
w443111773的博客
07-27 862
1.拥有HDFS的Client给NameNode发送RPC请求 2.NameNode收到请求会去判断请求中的文件夹是否存在，创建者是否有权限操作，如果判断成功则为文件创建一条记录，如果没有则抛出异常 3.当客户端写入数据时，开发库会将文件切割成过个数据包，以data queue 方式管理这些数据包 并向NameNode申请blocks，获取用来储存这个replicas（备份）的DataNode
HDFS读写流程详细过程
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS写流程
qq_39892028的博客
12-05 374
1.写流程 hdfs dfs -ls / hdfs文件系统的根目录 而不是Linux hdfs dfs -ls hdfs://hadoop002:9000/ hdfs://hadoop002:9000 来自core-site.xml hdfs dfs -ls 读取当前命令操作的用户的路径 /...
HDFS读写流程详解 —— 一图在手,天下我有~
weixin_48663895的博客
01-26 1884
对HDFS的读写流程进行了详细讲解，还有来自我这个“天才”画家的图解~
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3852
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
hadoop学习笔记（六）：HDFS文件的读写流程
weixin_30467087的博客
04-26 135
一、HDFS读取文件流程： 详解读取流程： Client调用FileSystem.open()方法： 　　1 FileSystem通过RPC与NN通信，NN返回该文件的部分或全部block列表（含有block拷贝的DN地址）。 　　2 选取举栗客户端最近的DN建立连接，读取block，返回FSDataInputStream。 Client调用输入流的read()方法： 　　1 当...
HDFS读写流程&NameNode;工作机制流程图原件
10-16
HDFS读写流程&NameNode;工作机制流程图原件，用于修改和调整
HDFS的写数据流程
qq_63518320的博客
12-17 147
1.客户端（Client）向namenode发出请求上传数据； 2.namenode检测Client的上传权限，与此同时检测根目录中是否有即将上传的文件。 3.namenode向Client发出允许。 4.客户端（Client）接到响应之后，把文件划分成数个block（默认为64M或128M，大小可以随情况调整），之后再向namenode发出请求。5.namenode检测datanode的文件来选择可以进行上传的主机，并列出datanode列表。 6.把datanode列表返回给Client。 7.Clie
HDFS 的写数据流程
m0_48126147的博客
04-26 243
HDFS 的读写流程 流程图：(该图来自尚硅谷) 详细描述： 1.客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件 2.NameNode检查权限并确保文件不存在，如果权限校验通过，并且文件不存在，NameNode记录这次操作，否则就返回I/O exception给客户端。 3.如果NameNode返回可以上传，客户端请求NameNode询问第一个 Block 上传到哪几个 DataNode 服务器上。 4.NameNode 返回 3 个 DataNode
hdfs写文件流程
Java_Soldier的博客
09-15 8484
eg：client上传150M的数据到hdfs 1.客户端向namenode请求上传数据。是先写到edits文件中，记录操作日志 2.namenode检查连接条件，返回同意连接 3.client端请求上传第一个block（128M）,返回dn列表 4.nn返回可用的dn列表dn1，dn2，dn4（dn选择策略：距离/空间；第一个副本优先选择同机架的dn节点，第二个副本考虑安全性要跨机架，第
HDFS的写流程和读流程
Jaserok的博客
10-18 468
1.写流程 1.Client调用FileSystem.create(filePath),去与NN节点进行RPC通信，check该路径下的文件是否已经存在？是否有权限创建该文件？假如OK，就创建一个新的文件，但是不关联任何的block，返回一个FSDataOutputStream对象；假如不OK，就返回错误信息 2.Client调用FSDataOutputStream对象的write方法，将第一个块...
Hadoop-HDFS写流程（从命令行到完成）
lu070828的博客
01-16 1984
DataStreamer线程从dataQueue中拾取数据包，将其发送到管道中的第一个数据节点，并将其从dataQueue移动到ackQueue。当一个块的所有数据包都被发送出去，并且每个数据包的acks都被接收到时，DataStreamer就会关闭当前块。创建后，该文件可见，可供其他客户端读取。9、界面无报错，通过命令（hadoop fs -du -h /user/hhs/test_dir）查看结果 （如果可能也会报错，DataStreamer会进行维护将原始管道中消除坏的数据节点来设置新的管道）
HDFS 写流程和读流程，超详细！！！
小小王的博客
09-09 273
11. Client 继续向 NameNode 申请上传下一个 block。4. Client 向 DataNode1 申请下载 block1。5. Client 向 NameNode 申请上传 block1。8. Client 发送 block1 给 DataNode1。5. DataNode1 发送 block1 给 Client。DataNode1 回复 Client 接收完毕。1. Client 向 NameNode 申请上传文件。1. Client 向 NameNode 申请下载文件。
HDFS 读写流程
最新发布
05-14
### HDFS 的读写流程 #### 写入流程 HDFS 的写入过程是一个复杂的过程，涉及客户端、NameNode 和 DataNode 的交互。以下是详细的描述： 1. **创建文件** 当客户端调用 `FileSystem.create()` 方法时，会触发 DistributedFileSystem 中的 DFSClient 向 NameNode 发送 RPC 请求以创建文件[^3]。此操作会在 NameNode 上记录该文件的元数据信息。 2. **获取 Block 分配** 客户端再次向 NameNode 发起请求，询问可以存储数据的第一个 block 的位置以及负责存储该 block 的 DataNode 列表。NameNode 返回一组适合的数据节点列表，通常基于机架感知策略选择最优节点组合[^3]。 3. **建立 Pipeline** 客户端与第一个 DataNode 建立连接，并通过它传递到第二个 DataNode，依此类推直到最后一个 DataNode 形成一个 pipeline。这个 pipeline 负责实际的数据流传输[^5]。 4. **数据写入** 数据从客户端按照 packet 大小分块并通过 pipeline 流式传输至各个 DataNode。每个 packet 在发送前会被附加校验和以便后续验证其完整性。当某个 packet 成功复制到所有目标 DataNode 后，这些 DataNode 将返回确认消息给上游 node 直至上游 client 收集齐所有 acks 才能继续下一批 packets 的发送[^5]。 5. **关闭文件** 文件写完成后，客户端通知 NameNode 关闭文件。此时需等待所有 blocks 的所有 packets 都得到确认回复后才会正式结束整个写入流程并释放资源[^5]。 #### 读取流程 相对而言，HDFS 的读取过程较为简单，主要包括以下几个方面： 1. **打开文件** 用户程序通过调用 `FileSystem.open()` 来访问所需文件的内容。同样地，这一动作最终转化为由 DFSClient 对应实现的具体逻辑并向 NameNode 提交查询请求定位首个 block 及关联 datanodes 地址信息[^2]。 2. **联系最近 DataNode 获取数据** 根据 name service 给定的结果挑选离自己较近或者负载较低的那个 source 开始下载对应部分资料；如果当前 segment 已经完全加载完毕，则重复上述步骤直至整份文档都被提取出来为止[^2]。 3. **错误处理机制** 如果在读过程中遇到失败情况比如网络中断等问题，则尝试切换其他可用副本重新拉取丢失片段从而保障服务连续性和可靠性[^2]。 ```java // Java Code Example for Reading a File in HDFS Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path("/example/file.txt"); FSDataInputStream inputStream = fs.open(path); byte[] buffer = new byte[1024]; int bytesRead = inputStream.read(buffer); while (bytesRead > 0) { System.out.println(new String(buffer, 0, bytesRead)); bytesRead = inputStream.read(buffer); } inputStream.close(); fs.close(); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值