hdfs工作机制及读写数据简要流程图

最新推荐文章于 2025-06-18 16:00:35 发布
原创 最新推荐文章于 2025-06-18 16:00:35 发布 · 3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #分布式文件系统

本文介绍了HDFS（Hadoop分布式文件系统）的基本概念及其工作原理。HDFS通过将文件切块并存储于多个DataNode服务器上来实现高可靠性和高性能的数据访问。每个文件块默认存储三个副本以确保数据的高可用性。NameNode负责维护整个文件系统的目录结构和元数据信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

概述

  1. hdfs是一个分布式文件系统，它所管理的文件被切块存储在若干台datanode服务器上
  2. hdfs提供了一个统一的目录树，用来定位hdfs中的文件，客户端访问文件是只要指定目录数即可，不用关心文件的具体物理存放位置
  3. 每一个文件的切块在hdfs的集群中都可以保存多个副本（默认3个）
  4. hdfs中有一个关键服务进程namenode，它维护了一个hdfs的目录树 及 hdfs目录结构与文件真实存储位置之间的映射关系（元数据），还有一个datanode服务进程专门负责接收和管理“文件块”– block，block的默认大小为128M（可配置） dfs.blocksize

作业简图

hdfs工作机制图

写数据

hdfs写数据

读数据

hdfs读数据

HDFS 读写流程基本介绍
WangZhaoLongjk的博客
05-20 711
HDFS写数据流程 1.概述 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本（block块大写：我们开发那会，服务器内存小，block块大小按64M，现在的是128M） 2.详细步骤...
HDFS读写流程详细解读
qianchun22的博客
12-15 2276
HDFS读文件流程 在这里插入图片描述 读取文件过程简述： 1、客户端向NameNode发起读数据请求； 2、NameNode响应请求并告诉客户端要读的文件的数据块位置（存在哪个DataNode上）； 3、客户端到对应DataNode读取数据，当数据读取到达末端，关闭与这个DataNode的连接，并查找下一个数据块，直到文件数据全部读完； 4、最后关闭输出流。 读取文件过程详细解读： 1、客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream。 2、通过RPC
HDFS读写流程&NameNode;工作机制流程图原件
10-16
HDFS读写流程&NameNode;工作机制流程图原件，用于修改和调整
HDFS读写数据过程
weixin_30840573的博客
11-09 139
一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Pathf,intbufferSize)，其实现为： publicFSDataInputStreamopen(Pathf,intbufferSize)throwsIOException{ returnnew...
HDFS读写流程/NN/DN
最新发布
Yuuuuuuhs的博客
06-18 789
4. 每次NameNode启动的时候，都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就会将Fsimage 和Edits文件进行合并。思考：Fsimage为磁盘文件，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。
hadoop--HDFS之读写流程
chiyefu2206的博客
12-20 175
HDFS的读写流程 一、写操作 前提：File大小为200M，block.size为128M，block分为两块block1和block2（块小于block.size的不会占用一个真个block大小，而是实际的大小）。 写操作的流程图 1. ...
HDFS读写流程详细过程
热门推荐
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS的读写过程
机械工程跑路哥
01-06 1436
一.向HDFS写数据的过程 1.客户端通过 Distributed FileSystem 模块向 NameNode 发起RPC请求，NameNode 检查用户权限以及目标文件、目录是否存在。 NameNode 返回是否可以上传。 3.客户端对文件切分，并向namenode发送第一个 Block 上传到哪些 DataNode 服务器的请求。 NameNode 会根据网络拓扑和机架感知机制进行文件分配，给客户端返回可以存储的3 个 DataNode 节点，分别为 dn1、dn2、dn3。 存储策略：第一个副
深入剖析HDFS心跳机制：掌握数据节点健康的关键技术
![深入剖析HDFS心跳机制：掌握数据节点健康的关键技术]...本章将简要介绍HDFS心跳机制，并为读者提供对后续章节内容的概览。心跳机制通过定期的信号传递确保
HDFS读取文件源码分析
司马班如
05-24 995
HDFS读文件的简要代码如下： public static void main(String[] args) throws Exception { InputStream input; OutputStream output; Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop66:8020"); FileSystem fs = FileSystem.get(conf); ou
深入理解HDFS：揭秘SecondaryNameNode的数据同步机制
[深入理解HDFS：揭秘SecondaryNameNode的数据同步机制](https://www.fatalerrors.org/images/blog/d99676a51208185f6f4c380d6f1e9354.jpg) # 1. HDFS基础和架构 ## 1.1 HDFS简介 Hadoop分布式文件系统（HDFS）是...
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读写流程图
u011828058的博客
03-27 1060
HDFS读写流程图 一，读流程图： 二，写流程图：
hdfs读流程图_HDFS读写流程
weixin_42511053的博客
02-15 457
1、客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件2、通过 RPC(远程过程调用)调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常3、返回FSDataOutputStream，执行w...
HDFS读数据过程
galaargl的博客
10-26 243
1.打开文件； 我们首先要创建FSData Input Stream的输入流，用户客户端只与它打交道，它里面封装的DFSInput Stream会与具体的相关名词之间打交道，并且是后台封装的，不是代码实现的。 2.获取数据块信息； DFSInput Stream通过远程过程调用与名称节点进行沟通，获取所访问的数据块集体位置信息。（通过ClientProtocal.getBlockLocationc()查找下一个数据块）返回的时候会以远近进行排序。 3.读取请求/4.读取数据； 获得位置信息后客户端
HDFS的写入数据的流程图
qq_43494678的博客
10-30 1047
一、HDFS的写入数据的流程图 二、HDFS异常写入数据的流程 和上面图的前1-6一样，就是第七步不一样！ 第七步！ 1.在发送时，先将dataQuene中的packet按顺序发送，发送后再放入到ackquene中。 2.每个节点在收到packet后，向客户端发送ack确认消息。 3.如果一个packet在发送后，已经收到了所有DN返回的ack确认消息，这个packet会在ackQuene中删除。 4.如果一个packet在发送后，在收到DN返回的ack确认消息时超时时！传输中止，ackQuene中的pa
HDFS读数据流程
RedSnipers的博客
08-07 222
HDFS读数据流程 1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。 2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。 3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。 4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。 ...
HDFS读写流程
qq_37523868的博客
09-06 924
HDFS读流程： 首先客户端通过调用Distributed FileSystem API的open方法发送请求到NameNode，NameNode将相应文件的Block的位置信息（元数据中存在这些信息）返回给客户端，客户端通过FSData InputStream的read方法并发的读每个Block（即图中4,5是并发执行的，每个block都有多个副本，程序会找相对空闲的DataNode节点去...
Hadoop原理图
03-14
<think>好的，用户想了解Hadoop的原理图。首先，我需要回忆Hadoop的核心组件和它们之间的交互。Hadoop主要由HDFS和MapReduce组成，可能还需要提到YARN，尤其是在较新的版本中。 首先，HDFS的部分。HDFS是分布式文件系统，有NameNode和DataNode。NameNode负责元数据管理，DataNode存储实际数据块。需要解释它们的角色以及数据写入和读取的流程。比如客户端如何与NameNode通信，获取数据块位置，然后直接与DataNode交互。 然后是MapReduce，这里涉及到JobTracker和TaskTracker，不过在YARN架构中，这些可能被ResourceManager和NodeManager取代。需要区分经典MapReduce和YARN的区别，避免混淆。用户可能对原理图的结构更感兴趣，所以需要明确各个组件之间的关系，比如客户端提交作业到ResourceManager，ApplicationMaster管理任务执行，NodeManager运行容器等。 另外，可能要考虑Hadoop的生态系统，比如Hive、HBase等，但用户的问题集中在原理图，可能不需要深入这些周边工具。不过如果原理图包括整体架构，可能需要简要提及。 用户可能需要一个结构清晰的回答，分点解释各个组件，并描述数据流和任务处理流程。需要确保术语准确，比如NameNode、DataNode、ResourceManager、NodeManager、ApplicationMaster等。 同时，注意使用中文，并且按照用户的格式要求，行内公式用$...$，独立公式单独成段。虽然Hadoop原理可能不涉及太多数学公式，但如果有任何计算模型，比如MapReduce的拆分、Shuffle过程，可能需要用公式表示，例如Map和Reduce阶段的输入输出关系。 最后，检查是否有遗漏的关键点，比如容错机制、数据分块、副本机制等，这些也是Hadoop原理的重要组成部分，应该在原理图中体现出来。 总结，回答的结构应该是先介绍Hadoop整体架构，分HDFS和MapReduce/YARN两部分详细说明，用图示的各个组件解释数据流和任务调度，最后可能补充一些关键特性如容错、扩展性等。</think>Hadoop原理图的核心是描述其分布式存储（HDFS）和分布式计算（MapReduce/YARN）的架构与协作关系。以下是其核心组件和流程的分步解析： --- ### **1. 分布式文件系统（HDFS）** **核心组件**： - **NameNode**：主节点，负责管理文件系统的元数据（如文件目录结构、数据块位置）。 - **DataNode**：从节点，存储实际数据块（默认每个块128MB），并通过心跳机制向NameNode报告状态。 - **Secondary NameNode**：辅助NameNode合并编辑日志，防止元数据过大（非备份节点）。 **数据读写流程**： 1. **写入**： - 客户端向NameNode请求写入文件。 - NameNode分配DataNode列表（默认3副本）。 - 客户端直接将数据块写入第一个DataNode，后者依次复制到其他节点。 2. **读取**： - 客户端向NameNode获取数据块位置。 - 客户端直接从最近的DataNode读取数据。 --- ### **2. 分布式计算框架（MapReduce/YARN）** #### **经典MapReduce架构（Hadoop 1.x）** - **JobTracker**：管理任务调度和资源分配（单点瓶颈）。 - **TaskTracker**：在DataNode上执行Map和Reduce任务。 #### **YARN架构（Hadoop 2.x+）** **核心组件**： - **ResourceManager (RM)**：全局资源调度器，管理集群资源。 - **NodeManager (NM)**：单个节点上的资源管理者，向RM汇报资源状态。 - **ApplicationMaster (AM)**：每个应用（如MapReduce作业）的协调者，向RM申请资源并监控任务。 **作业执行流程**： 1. 客户端提交作业到ResourceManager。 2. RM分配容器（Container）启动ApplicationMaster。 3. AM向RM申请资源，并协调NodeManager启动Map/Reduce任务。 4. 任务执行完成后，AM向RM注销并释放资源。 --- ### **3. 原理图关键交互流程** ```plaintext +----------------+ +---------------+ +-------------------+ | Client | | NameNode | | ResourceManager | +----------------+ +---------------+ +-------------------+ | 1. 文件元数据请求 | | 2. 提交作业 |---------------->| |<-------------------| | 3. 数据块位置 | | 4. 分配AM容器 | |<----------------| |------------------->| | | | | | 5. 直接读写数据 | | 6. AM申请资源 | |---------------->| |<-------------------| | | | | +----------------+ | +-------------------+ | DataNode |<------+-----------------| NodeManager | +----------------+ | +-------------------+ | 7. 执行任务 | |---------------->| ``` --- ### **4. 核心特性** 1. **容错性**： - HDFS通过副本机制（默认3副本）保障数据可靠性。 - MapReduce/YARN通过重试失败任务实现计算容错。 2. **扩展性**： - 线性扩展：增加DataNode/NodeManager即可提升存储和计算能力。 3. **数据本地化优化**： - 尽量将计算任务调度到存储对应数据块的节点，减少网络传输。 --- ### **5. 数学表达示例** 在MapReduce中，计算过程可抽象为： $$ \text{Map}(k1, v1) \rightarrow \text{List}(k2, v2) $$ $$ \text{Reduce}(k2, \text{List}(v2)) \rightarrow \text{List}(k3, v3) $$ 其中，输入数据被分割为多个块（例如大小$S$），每个块独立进行Map操作，最终通过Shuffle阶段将相同$k2$的数据聚合到Reduce节点。 --- 通过以上分层架构和协作机制，Hadoop实现了海量数据的高效存储与并行计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值