分布式文件系统以及对相关节点的简单理解

本文介绍了分布式文件系统的基本概念和HDFS的工作原理。HDFS采用主从式架构,NameNode作为管理节点负责元数据管理,DataNode存储数据块。文章详细讲解了NameNode的元数据文件,包括fsimage和edits,以及SecondaryNameNode在定期合并元数据和备份中的作用。此外,还讨论了HDFS的高可用性和故障恢复策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Distributed File System

1.数据量越来越多,在一个操作系统管辖的范围存储不下来,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,分布式文件系统由此产生。

2.它是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的用户分享文件和存储空间。

3.通透性,让实际上是通过网络来访问文件的动作,由程序与用户看来,就像访问本地的磁盘一般。

4.容错性,即使系统中有些节点脱机,整体来说系统任然可以持续运作而不会有数据损失。

5.分布式文件管理系统有很多,HDFS只是其中的一种,HDFS适用于一次写入多次查询的情况,不支持并发写入的情况,对小文件的操作也不太适合。


HDFS:Hadoop Distributed File System 分布式文件系统。

HDFS的架构:

主从式结构

  <

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值