hdfs上传和下载文件的流程

最新推荐文章于 2024-11-16 19:00:01 发布
最新推荐文章于 2024-11-16 19:00:01 发布
阅读量1.9k 收藏 5
点赞数 1
分类专栏： Hadoop 文章标签： hdfs文件上传详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39047789/article/details/103939594
版权
本文详细介绍了HDFS文件的上传和下载过程。在上传时，客户端首先发送请求给Namenode，经过一系列检查后进行数据切块、构建Pipeline并逐块上传。在下载时，客户端从Namenode获取数据块信息，遵循就近原则进行下载，并通过CRC文件进行完整性校验。整个过程中，HDFS具备错误处理和重试机制，确保数据的安全传输。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、上传文件

1、客户端上传文件

客户端向namenode发送数据上传的请求（包含数据的长度信息）
hadoop fd -put / /     （以上传200M文件为例）

2.namenode检查工作

namenode收到客户端请求之后会进行一系列的检查工作

  1. 查重处理，如果重复则报错
  2. 验证上传文件的目标目录是否存在，不存在报错
  3. 检查权限
  4. ...

3.返回检查信息到客户端

第二部检查通过之后，namenode会给可客户端返回一个存储的节点信息

  • 返回的原则【就近原则】
  • 优先返回客户端所在节点
  • 其次返回同机架的节点
  • 最后返回不同不同机架的节点

4.数据切块

客户端收到第三部的响应之后，会进行一次切块处理【这里是逻辑切块】

物理切块：真实的切分，将200M切分为128M+72M。两个块会分别存储
逻辑切块：可以理解为切分前的准备，每个块128M，计算出需要切分成几个块（切块规划）

5.准备文件上传，构建统计pipeline （根据块的id进行构建）

将同一个块的所有存储节点构建成一个数据流通道
按照块的id依次构建通道，构建完成之后会逆序返回一个响应

6.开始文件上传（以块为单位）

开始真正的文件上传，边上传边进行数据的物理切块
上传的时候是以package为单位进行上传的&#

最低0.47元/天 解锁文章
HDFS的文件上传和下载流程及数据库操作
bug_syntax119的博客
09-16 311
本文将详细介绍HDFS中文件上传和下载的流程，并结合数据库操作来说明其应用。本文详细介绍了HDFS中文件上传和下载的流程，并结合数据库操作说明了HDFS在大数据处理中的应用。通过使用HDFS，可以高效地存储和处理大规模数据集，并通过与数据库的结合，实现更复杂的数据分析和查询操作。在实际应用中，HDFS通常用于存储大规模数据集，而数据库用于存储结构化和关系型数据。可以通过将HDFS中的数据加载到数据库中，实现对大数据集的高效查询和分析。上述代码示例演示了将HDFS中的数据逐行加载到数据库表中的过程。
Hadoop入门之HDFS上传和下载文件图解
筑梦者
08-23 3742
文件上传: 1.客户端向NameNode(NN)发送请求上传文件路径 2.NN响应Client确认是否能够上传文件 3.Client再次请求NN,上传一个Black块 4.NN响应Client给予几个要上传的DataNode的地址(有一定的容灾规则) 5.Client向第一个DataNode请求建立连接进行文件上传,第一个DataNode会向第二个DataNode请求建立
HDFS（六）—— HDFS 文件下载的过程
热门推荐
.
11-25 1万+
五、在内存中查找文件的元信息 数据的元信息是优先存储在内存中的，所以 NameNode 会优先去内存中查找。 为了保证元信息的查找速率，通常我们会使用 NameNode 的联盟对内存容量进行扩展。 六、在 fsimage 文件中查找文件的元信息
HDFS上传,下载流程
JinVijay的博客
02-06 1896
1 写数据流程(上传) 1.客户端请求NameNode申请上传文件数据(文件大小,副本个数,物理切块的大小) 2.NameNode接收到客户端的请求之后各种校验(权限,存储容量,分配元数据信息) 3.客户端接收到NameNode的ok响应 4.客户端请求NameNode上传第一块数据,NN返回第一块数据的元数据信息 5.客户端与返回的元数据信息中的机器建立连接通道 6.返回ok 7.客户端本地流读取待上传的文件的第一块数据 io.read length=128M 8.本地流一边读取数据,
websockets_Websockets在数据工程中鲜为人知的模式
weixin_26729841的博客
09-09 553
websocketsLearn how to use the API approach to enable full duplex data transfer between client and server asynchronously using WebSockets which is an upgrade from HTTP, with a working Python code. 了解如...
hdfs 下载文件（读数据）流程
wu_cai的专栏
09-04 794
需求：向hdfs下载文件text.txt 1、 向namenode请求要下载的text.txt，namenode返回文件所在的datanode块位置信息 2、client挑选一台datanode（就近原则，然后再随机）服务器，请求建立socket流 3、datanode开始读取数据（从磁盘读取数据至流里面，以packet为单位来做校验） 4、客户端以packet为单位接收，先缓存在本地，然后写入目
HDFS客户端上传下载文件流程
sunwenxu的博客
07-23 624
1 上传概述 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 2 上传详细步骤图 3、上传详细描述 1 客户端与nameNode通讯 1.1 客户端像nameNode发送上传文件...
Hadoop基础操作-上传文件到HDFS目录
最新发布
csy20230322065的博客
11-16 3255
HDFS 是Hadoop的核心组件之一，负责文件数据的存储。本节的任务首先是了解 HDFS，以及HDFS与其他文件系统之间的关系;其次介绍HDFS的基本操作并将存储在 Linux 本地的日志文件email_log.txt上传至HDFS的/user/root/目录下。
HDFS----【文件的上传即下载流程详解】
CoderBoom的博客
11-15 3683
HDFS上传文件流程 文件上传流程图如下 : 首先 , HDFS选用的是每启动一个线程 , 就传递一个块 , 然后接收到第一个块后的机器复制给其他机器 . 首先我们知道namenode的职责 : 管理整个文件系统的元数据 ( 目录树 文件和块对应信息 , dn信息) 响应整个客户端的所有请求 hdfs://node-1:9000 上传文件的流程 首先hdfs客户端通过RPC调用向nn发...
hdfs文件的上传与下载
shilu963的博客
07-02 390
package com; import jdk.internal.util.xml.impl.Input; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import java.io.*; public cla...
hadoop的web上传、下载、更新、删除和文件追加
05-13
这个项目是结合tomcat实现了hadoop的web上传、下载、更新、删除和文件追加等操作，适合想要学习hadoop的童鞋们，云计算也是最近笔记比较热门的技术之一，希望能给大家以帮助
HDFS上传、下载流程
Emeraki的博客
10-28 587
上传过程参考此图   首先，有一个200M文件要上传，那么Client首先要读取这个文件，Distributed FileSystem就是整个集群的抽象封装。Client向NameNode发起一个上传请求，NameNode审查请求是否合法（比如相同路径下已经有了文件，有没有上传权限等），之后回复响应可否上传。此时文件就被切了块，分成了128M+72M，如下图。   之后，往HDFS上传，要开一个输出流，FSDataOutoutStream， ...
hdfs文件上传及下载的流程
Rashaun`s blog
11-29 3140
1.文件上传的流程 1）客户端向namenode发送文件上传的请求 2）namenode会进行一系列的检查： - 父目录是否存在 - 文件是否已经上传 - 是否有文件上传权限等 - 如果检查没问题，则会发送允许上传的响应 3）客户端发送真正的上传请求 包含重要的信息 文件的大小（或长度） 4）namenode会向客户端返回上传文件的节点。 - 根据文件的大小进行计算返回的节点数的206/1...
HDFS文件上传和下载流程
m0_59651968的博客
10-20 1173
1、HDFS上传文件 客户端请求上传文件：客户端（通常是Hadoop集群中的一个节点）发出上传文件的请求，改请求包括文件的本地路径、文件名以及在HDFS中的目标路径 NameNode验证请求：客户端请求首先到达集群中的NameNode，NameNode负载管理HDFS的文件系统命名空间和元数据。NameNode验证客户端的权限，，确保客户端有权向指定的目标路径上传文件；查看文件名是不是在当前目录下重复。。。自检 分块和数据节点选择：当符合上传文件要求时，NameNode确定文件应该如何分块（默认情况下，H
hdfs上传/下载文件过程详解
hellojoy的博客
01-11 1694
https://www.cnblogs.com/kyle-blog/p/14213575.html https://my.oschina.net/u/2969788/blog/4289020 hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128MB),向namenode请求上传block1,namenode返回可用的Dat
使用java对HDFS文件的新建上传下载
weixin_42393089的博客
05-27 1540
1.步骤：在Windows下安装：1.安装JDK→2.安装Idea→3.安装Maven→4. IDEA里配置Maven 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ②运行...
大数据之HDFS读写流程（文件上传与下载）
lxhjava的博客
04-11 1801
今天来谈谈hdfs的读写流程： HDFS上传文件步骤（写流程） 流程： 1. 调用客户端的对象DistributedFileSystem的create方法； 2. DistributedFileSystem会发起对namenode的一个RPC连接，请求创建一个文件，不包含关于block块的请求。namenode会执行各种各样的检查，确保要创建的文件不存在，并且客户端有创建文件的权限。如果...
Hadoop文件上传和下载函数
有时间可以指导毕业设计，可以私聊我。一个热爱编程的smallCuteMonkey，可以私信我
03-20 318
hadoop文件的上传函数IOUtils.copyBytes(fis,fos,configuration); java的文件输入输出流的 注意：导入的包的问题，如果导入的包不对会报错，基本上是hadoop包的导入，但是注意这个包： import java.net.URI;//导入的是net网络的这个包，而不是其他的包 实现代码： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputSt.
（面试经典问题）HDFS下载文件（读）流程
xingyunyang的博客
08-12 1581
HDFS读流程以及面试回答
hdfs上传文件和读文件的流程
04-07
HDFS上传文件的流程： 1. 客户端向NameNode请求上传文件，并提供文件的名称、大小、块大小等信息； 2. NameNode返回一个空的数据块列表，客户端开始将文件分成若干个数据块，并将数据块传输到多个DataNode上； 3. 每个DataNode将数据块存储在本地磁盘上，并返回一个确认信息给客户端； 4. 客户端将每个数据块的存储位置信息告知NameNode，NameNode将这些信息记录在文件系统的命名空间中。 HDFS读文件的流程： 1. 客户端向NameNode请求读取文件，并提供文件的名称； 2. NameNode返回文件的数据块列表和每个数据块所在的DataNode列表； 3. 客户端根据DataNode列表，连接到每个DataNode上请求数据块； 4. DataNode返回请求的数据块给客户端； 5. 客户端将所有数据块组合成完整的文件并返回给用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值