Hadoop HDFS原理---分布式文件系统

最新推荐文章于 2020-08-21 14:35:00 发布

转载最新推荐文章于 2020-08-21 14:35:00 发布 · 216 阅读

·

0

·

文章标签：

大数据hadoop 专栏收录该内容

8 篇文章

订阅专栏

本文深入解析HDFS的架构特点，包括主从结构、数据冗余保存机制、NameNode和DataNode的角色职责，以及SecondaryNameNode如何协助解决EditLog过大问题。了解HDFS如何通过多副本方式保障数据可靠性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS工作原理

在这里插入图片描述

NameNode和Sencondary NameNode节点通过HTTP GET（N->S）和POST(S->N)发送和接受数据

体系结构，主从（master/slave）

在这里插入图片描述

存储原理：冗余数据保存（多副本）

在这里插入图片描述

HDFS 实现目标

在这里插入图片描述

HDFS 相关概念

块

默认128M
在这里插入图片描述

在这里插入图片描述

NameNode

在这里插入图片描述

FsImage

在这里插入图片描述
namenode节点启动时，会将fsimage中的内容加载到内存中，执行editlog中的步骤

Editlog

Secondary Namenode（冷备份）

定时向primary namenode 请求fsimage和editlog，避免namenode因运行时间过多而导致的editlog文件过大的问题
在这里插入图片描述

DataNode

HDFS的工作节点，负责存储数据和读取数据，根据客户端或者namenode的调度，并定期向datanode发送自己存储的数据块信息

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。