HDFS存储原理

最新推荐文章于 2025-06-28 13:46:43 发布
最新推荐文章于 2025-06-28 13:46:43 发布
阅读量1k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_30485769/article/details/53697286
本文以漫画形式介绍了HDFS的工作原理，包括Client、Namenode和Datanode的角色与功能。在HDFS中，文件按块存储，写入时遵循“一次写入多次读取”模型，数据块会根据距离客户端的远近进行排序以便读取。HDFS具有高容错性，通过副本策略确保数据安全，当节点或数据损坏时，能通过心跳和数据块报告进行检测和修复。此外，还讨论了如何在故障情况下保证读写容错。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

整理下漫画，非常适合初学者理解

  • 角色出演

    这里写图片描述
    如上图所示，HDFS存储相关角色与功能如下：

Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。

Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理；与client交互进行提供元数据查询；分配数据存储节点等。

Datanode：数据存储节点，负责数据块的存储与冗余备份；执行数据块的读写操作等。

  • 写入数据
    1.发送写数据请求

这里写图片描述
HDFS中的存储单元是block。文件通常被分成64或128M一块的数据块进行存储。与普通文件系统不同的是，在HDFS中，如果一个文件大小小于一个数据块的大小，它是不需要占用整个数据块的存储空间的。http://www.tuicool.com/articles/MBz26b
2.文件切分
这里写图片描述
3.DATANODE分配
这里写图片描述
这里写图片描述
4.数据写入
这里写图片描述
这里写图片描述
5.写入完成

最低0.47元/天 解锁文章

200万优质内容无限畅学
2.6 HDFS存储原理
炫云云
03-27 1312
感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！ 带你全面理解hadoop大数据。 包含： HDFS存储原理 冗余数据保存 数据存取策略 数据错误与恢复 名称节点出错 数据节点出错 数据出错 深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。
【漫画系列】HDFS存储原理分析汇总篇
weixin_34273479的博客
11-05 1261
本次分享结合Maneesh Varshney的漫画改编，为大家分析HDFS存储机制与运行原理。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理；与client交互进行提供元数据查询；分配数据...
HDFS的存储原理
jim8973的博客
12-03 1665
块block的大小默认是128M,hdfs-site.xml <property> <name>dfs.blocksize</name> <value>134217728</value> </property> 副本数默认是3，hdfs-site.xml <property> <name&gt...
【大数据】HDFS存储
最新发布
weixin_49199313的博客
06-28 844
在HDFS上会保存数据的副本，默认是3个，即同一块数据会同时存储在3个不同的DN上进行备份，这个副本数量是可以设置的，后面进行配置的时候会介绍。其中存储了文件的元数据，包括文件名、文件目录结构、文件属性（生成时间、副本数、权限）等，以及每个文件的块列表和列表中的块与块所在的DataNode之间的地址映射关系。2NN是辅助节点，用于同步元数据信息，辅助NN对fsimage和edit log进行合并（冷备份），以解决edit log过大及丢失改动信息的问题。文件切分为固定大小块（Block），分散存储。
HDFS存储原理（存储原理、fsck命令、namenode元数据、读写流程）
2202_75347029的博客
07-24 2101
edits文件，是一个流水账文件，记录hdfs中的每一次操作，以及本次操作影响的文件及其对应的block。但是edits文件检索有一个问题：当用户想要查看某文件内容，如/tmp/data/test.txt，就需要在全部的edits中搜索（还需要按顺序从头到尾，避免后期改名或者删除效率非常低）。这个属性默认是3，一般情况下，无需主动配置（除非需要设置非3的数值），如果需要自定义，需要将三台机器文件配置文件都修改。在遇到多个大小不等的文件需要存储时，由于文件大小不同，所分出的部分的大小也不相同。
Hadoop-005-HDFS分布式文件存储原理
加贝的博客
11-01 1582
HDFS的数据存储原理和读写流程
HDFS存储原理与实践
# 1. 引言 ## 1.1 介绍HDFS（Hadoop ...HDFS的出现填补了这一空白，它通过将数据划分成多个块（block）并在多个节点上进行分布式存储，提供了高可靠性和高性能的数据存储解决方案。 HDFS被广泛应用于大数据
Hive进阶Day05
DrKYQ的博客
04-14 1162
希望对大家有帮助，谢谢大家的支持！！❤️❤️❤️
分布式存储 HDFS原理
背着梦的幸存者
10-09 2808
思维导图： 分布式存储一、NameNode 1接收客户端的请求 管理元数据（文件上传时间、文件权限、文件属主、大文件的block数及blockId号） 管理集群 二、SecondaryNameNode 持久化内存中的元数据。 因为内存不稳定，可以将数据持久化到磁盘上。 持久化的详细过程： NameNode启动的时候会创建两个文件：edit（日志文件）和fsimage...
Hadoop HDFS原理分析，技术详解
12-01
HDFS概述，HDFS客户端操作，HDFS数据流，namenode工作机制，datanode工作机制，HDFS 高可用集群配置
HDFS原理介绍
10-09
保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 2. 运行在廉价的机器上。 3. 适合大数据的处理。HDFS默认会将文件分割成block，64M为1个block。 然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。 (笔记：HDFS不适合小文件存储：小文件多，造成内存负担。)
Hadoop（六）之HDFS的存储原理（运行原理）
a878787877的专栏
10-17 535
前言 　　其实说到HDFS的存储原理，无非就是读操作和写操作，那接下来我们详细的看一下HDFS是怎么实现读写操作的！ 一、HDFS读取过程 　　 　　1）客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。 　　2）DistributedFileSystem通过RPC来调用namenode，以确定文件的...
HDFS存储原理图解
January001的博客
07-21 1740
http://smartsi.club/hadoop-illustrate-how-hdfs-works.html
HDFS存储和读写原理
GUOWENJU_08
03-31 970
1.1 HDFS写流程1.    使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录(账本上记录一条)，否则会让客户端抛出异常；2.    当客户端开始写入文件的时候，开发库会将文件切分成多个packets，并在内部以数据队列"data queue"的形式管理这些...
《Hadoop》"呶呶不休"（三）HDFS的存储原理
从明老师的博客
01-14 2174
一、数据块的冗余 为了保证系统的容错性和可用性，hdfs采用了多副本方式对数据块进行冗余存储，也就是一个数据块的多个副本会被分布到不同的Datanode上，存储在Datanode的本地文件系统中。 这种多副本的存储方式有以下优点： 1）加快数据传输速度。当多个客户端需要同时访问同一个文件时，这些客户端可以从不同的数据块副本中读取数据，大大提高了数据的传输速度。2）容易检查数据错误。HDFS...
HDFS原理
A_____lan的博客
06-27 346
HDFS分布式文件系统介绍 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS架构 HDFS主要...
hdfs的存储原理
06-11
### HDFS 存储原理与分布式文件系统架构 HDFS（Hadoop Distributed File System）是一种为大规模数据存储和处理设计的分布式文件系统。其核心目标是提供高容错性和高吞吐量的数据访问能力，同时能够在低成本硬件上运行[^1]。 #### 1. 数据块（Block）划分 HDFS 将大文件划分为固定大小的数据块（通常为 128MB 或 256MB），并将这些数据块分布存储在集群中的不同节点上。这种划分方式不仅简化了数据管理，还提高了系统的并行处理能力和容错能力[^3]。 #### 2. 主从架构 HDFS 采用主从架构（Master-Slave Architecture），主要由两个关键组件组成：NameNode 和 DataNode。 - **NameNode**：作为主节点，负责管理文件系统的元数据（如文件目录结构、数据块映射关系等）。它记录每个数据块存储在哪几个 DataNode 上，并维护整个文件系统的健康状态[^1]。 - **DataNode**：作为从节点，负责实际存储数据块，并定期向 NameNode 汇报自身状态和存储信息[^2]。 #### 3. 数据复制与容错机制 为了保证数据的可靠性和可用性，HDFS 会对每个数据块进行多副本存储（默认为三副本）。这些副本会被分散存储在不同的 DataNode 上，以避免单点故障。如果某个 DataNode 出现故障，NameNode 会检测到该情况，并自动将丢失的数据块重新复制到其他健康的节点上[^1]。 #### 4. 写入流程 当客户端需要向 HDFS 写入数据时，具体流程如下： 1. 客户端向 NameNode 发起写请求，NameNode 返回分配的数据块编号及目标 DataNode 列表。 2. 客户端按照数据块大小将文件切分为多个部分，并依次写入到指定的 DataNode。 3. 每个 DataNode 接收数据后，会将数据复制到其他 DataNode，完成副本创建[^2]。 #### 5. 读取流程 当客户端需要从 HDFS 读取数据时，具体流程如下： 1. 客户端向 NameNode 查询目标数据块的位置信息。 2. NameNode 返回包含数据块的 DataNode 地址列表。 3. 客户端直接与最近的 DataNode 建立连接，获取所需数据。 #### 6. 数据本地化 HDFS 强调数据本地化（Data Locality），即尽量让计算任务靠近数据所在的节点执行。这样可以减少网络传输开销，提高整体性能[^2]。 ```python # 示例代码：使用 Python 的 PyHDFS 库操作 HDFS from pyhdfs import HdfsClient client = HdfsClient(hosts='localhost:9870') client.create('/user/test.txt', b'Hello, HDFS!', overwrite=True) data = client.open('/user/test.txt').read() print(data.decode('utf-8')) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值