【Hadoop十】HDFS读写流程

最新推荐文章于 2024-06-24 22:53:05 发布
原创 最新推荐文章于 2024-06-24 22:53:05 发布 · 140 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

HDFS读流程



 

读流程详细步骤：

  • HDFS客户端将要读取的HDFS文件封装成DistributedFileSystem对象，然后调用DistributedFileSystem的open方法打开要读取的文件
  • DistributedFileSystem对象通过RPC访问NameNode获取文件的块信息。NameNode返回每个数据块在DataNode上的位置；每个数据块如果有备份，那么备份所在的位置也会返回给客户端，并且会对用户客户端所在的位置按照数据本地优先的策略进行排序。如果客户端在DataNode上，同时该DataNode上有要读取的数据块，那么客户端会进行本地读取，下图是数据访问策略

 

 

，

 

最终，DistributedFileSystem会返回一个FSDataInputStream对象供客户端读取数据，

  •  客户端调用FSDataInputStream的read方法读取数据

 

 

 

 

HDFS写流程



 

 

 

【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1348
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
Hadoop：HDFS读写数据的过程。
weixin_53571731的博客
07-20 1065
6、客户端开始往第一个DataNode上传第一个Block（先从磁盘读取数据放到本地内存缓存），以Packet为单位，当第一个DataNode收到一个Packet就会传给第二个DataNode，然后传给第三个DateNode。5、客户端通过FSDataOutputSTream模块请求第一个DataNode上传数据，第一个DataNode收到请求后会继续调用第二个DataNode，然后第二个DataNode调用第三个DataNode，将这个通信管道建立完成，三个DataNode逐级应答客户端。
HDFS读写流程（史上最精炼详细）
热门推荐
little prince，blue coder
07-16 8万+
概述 开始之前先看看其基本属性，HDFS（Hadoop Distributed File System）是GFS的开源实现。 特点如下： 能够运行在廉价机器上，硬件出错常态，需要具备高容错性 流式数据访问，而不是随机读写 面向大规模数据集，能够进行批处理、能够横向扩展 简单一致性模型，假定文件是一次写入、多次读取 缺点： 不支持低延迟数据访问 不适合大量小文件存储（因为每条元数据占...
hadoop 读写文件流程详解
09-19
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。
HDFS读写流程&NameNode;工作机制流程图原件
10-16
HDFS读写流程&NameNode;工作机制流程图原件，用于修改和调整
hadoop读写流程、副本机制、安全模式、平衡节点
xwcj3的博客
12-08 665
一、副本放置策略 如图： 解释： 第一个副本: 假如上传节点为DN节点，优先放置本节点； 否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点； 第二个副本: 放置在于第一个副本的不同的机架的节点上 第三个副本: 放置于第二个副本相同机架的不同节点上 CDH机架有一个默认机架 虚拟的概念； CDH一般不调整这种默认机架 二、HDFS读写流程 写流程 如图： 解释： hadoop fs -put ...
hdfs工作机制及读写数据简要流程图
bingo_liu的博客
02-26 3018
hdfs工作机制及读写数据简要流程图
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
在IT行业中，Hadoop是一个广泛...由于文件" Hadoop技术HDFS数据读写流程共7页.pdf "未提供具体细节，以上内容是对一般HDFS读写流程的概述。实际文档可能包含更深入的技术细节，例如数据校验、流控制、故障恢复等机制。
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2180
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
000005 - HDFS 读写流程
最新发布
张--小涛涛
06-24 1441
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
Hadoop之HDFS文件读写过程
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
HDFS的读写流程（详解）
SlimShadyKe的博客
05-02 9840
概述 HDFS（Hadoop Distributed File System）是GFS的开源实现。 HDFS的优缺点 1、优点 因为有多个副本，可以保证数据可靠，容错性高 计算向数据移动，适用于批处理 适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点 可以构建在廉价机器上，通过多副本提高可靠性 2、缺点 不支持低延迟的数据访问，无法再毫秒之内返回结果 小文件对于HDFS...
hadoop文件的读写流程
浅汐
10-14 2443
1.副本放置策略 第一副本：放置在上传文件的DataNode上;如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上; 第二副本：放置在于第一个副本不同的机架的节点上; 第三副本：与第二个副本相同机架的不同节点上; 如果还有更多的副本：随机放在节点中; 2.文件的写流程 1.客户端会调用DistributedFileSystem对象的create(filePath)
hadoop2.x-hdfs读流程
program哲学
06-04 297
1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例 2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面. 3.前两步会返回一个FSDataInputSt...
hadoop mr 流程图
xiaomin1991222的专栏
10-05 321
  hadoop 流程图     mapreduce运行机制，这些按照时间顺序包括：输入分片（input split）、map阶段、combiner阶段、shuffle阶段和reduce阶段   
hadoop2理解读取文件在流程
njiang的专栏
03-28 1892
hadoop2理解读取文件在流程
HDFS的读写流程
a2639491403的博客
04-24 1082
HDFS写流程客户端发起写请求道namenode，namenode返回可使用的资源，客户端根据资源使用情况对要写入的数据分块，逐一上传块到datanode,datanode获取上传块数据并写入磁盘，完成后报告给namenode块信息，同时也告诉客户端写入成功，客户端继续后续快的写入，在此期间namenode接受到datanode的块写入完成信息之后根据备份数直到满1    首先客户端发起写请求到n...
Hadoop（5）HDFS的读流程和写流程
夏季版
06-05 3818
1、写流程 如上：client表示客户端，NameNode为主，DataNode为从，要存储的数据为Data 1、客户端向NameNode发起请求，需要存储数据Data 2、因为NameNode中是记录了所有DataNode的相关信息的，而数据最终要保存的地方就是DataNode，所以NameNode会返回可用的DataNode的信息给客户端 3、将Data分为1和2...
Hadoop对于读流程和写流程的图解和解释
大黑牛的博客
09-02 1254
Hadoop的读流程和写流程究竟是怎么回事呢？ 看下面： 一、读流程   解释： 1、客户端向NameNode发起请求，需要获取名字为x的数据块  2、NameNode中保存了该数据块存储的位置，将DataNode的信息返回给客户端  3、客户端就近的方式去从DataNode获取数据  4、如果某个DataNode无法访问  5、从另一个DataNode中去获取数据  总结：向namenode...
深入解析Hadoop HDFS数据读写操作流程
资源摘要信息: "Hadoop技术HDFS数据读写流程" Hadoop是一个开源的分布式存储与计算框架，它允许用户存储大量数据并并行处理它们。Hadoop的核心是HDFS（Hadoop Distributed File System），一个高度容错性的系统，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值