hdfs的基本架构

最新推荐文章于 2025-06-26 13:07:08 发布

付玉超

最新推荐文章于 2025-06-26 13:07:08 发布

阅读量384

点赞数

CC 4.0 BY-SA版权

文章标签： HDFS

本文链接：https://blog.youkuaiyun.com/fycstart/article/details/87291489

1.nameNode:存储文件的元数据,如文件名和文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等,

2.DataNode:在本地文件系统存储文件块数据,以及块数据的校验

3.Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间,获取HDFS元数据的快照

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

付玉超

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

二、HDFS基本架构和shell操作

微信号：RunsenLiu

08-03

1188

@Author ： By Runsen @Date ： 2020/6/19 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在优快云。在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客算了。我把第九章更新到博客上。 9.2 HDFS 9.2.1 HDFS基本架构 HDFS英文全称Hadoop Distributed Fi

【大数据教程】HDFS基本架构、基本命令、回收站机制和API操作

微信号：RunsenLiu

02-17

1089

【大数据教程】HDFS基本架构、基本命令、回收站机制和API操作

参与评论您还未登录，请先登录后发表或查看评论

HDFS 的架构

小小王的博客

09-09

1233

1 个 SecondaryNameNode 辅助 NameNode 维护目录树。HDFS 采用的是主从架构模型（Master/Slave）不同的功能配合起来形成完整的功能。

HDFS的基本的架构

weixin_33910460的博客

05-23

414

一、HDFS的基本的概述(1)、HDFS是Hadoop的分布式文件系统，也是hadoop的重要组件之一，每一个事物都存在缺点和优点HDFS也不例外，具体的优点缺点如下。(2)、HDFS的优点如下：(a)、高容错性，一份数据在HDFS集群上由多个副本，即使其中某一份数据丢失了，会通过自己的恢复机制从其他的数据副本恢复数据。(b)、廉价，只需要普通的电脑就能搭建HDFS文件系统，并且存储容量可以动态的...

HDFS（Hadoop分布式文件系统）总结

最新发布

Cachel Wood的博客

06-26

654

HDFS核心架构与特性摘要 HDFS是Hadoop生态的分布式文件系统，采用主从架构：NameNode管理元数据，DataNode存储数据块（默认128MB），Client提供交互接口。其核心特点包括高容错性（3副本机制）、流式数据访问和硬件容错。写入采用流水线复制，读取并行获取数据块。通过NameNode HA（主备+QJM）解决单点故障，支持联邦架构提升扩展性。高级特性涵盖纠删码（降低存储开销）、分层存储（按热冷数据分级）和快照备份。优化策略包括小文件合并、调整块大小及机架感知配置，适用于PB级离线数据

HDFS 架构

沉潜飞动

07-05

3464

Hadoop文件存储的基础是HDFS(Hadoop Distributed File System)，HDFS的实现依赖于NameNode和DataNode，DataNode用来存储具体数据，NameNode用来管理多个DataNode中分别存储的是什么。理解起来也不难，因为HDFS是分布式的文件系统，也就是有很多机器用来存储数据，一个大文件可能分布在多个机器上，也可能是一台机器上，具体分布在哪些或哪个机器上，主文件

HDFS的基础组成部分及基础操作

weixin_34293141的博客

11-20

356

HDFS组件结构图解说：1、如图所示中，NameNode充当master角色，职责包括：管理文档系统的命名空间(namespace)；调节客户端访问到需要的文件(存储在DateNode中的文件)2、DataNodes充当slaves角色，通常情况下，一台机器只部署一个Datenode，用来存储MapReduce程序需要的数据3、Namenode会定期从DataNodes那里收...

HDFS基本架构总结

浮生、佐以酒

04-18

1242

目录 HDFS架构 Namenode&amp;amp;DataNode&amp;amp;SecondaryNameNode 副本存放策略 HDFS为主/从架构，主要由管理文件系统的NameNode和存储数据的DataNode组成。 NameNode介绍及作用 : NameNode维护以下内容 a. 管理文件名称 b. 管理文件目录结构 c. 管理文件属性（创建时间、权限、副本数等） d. 文件对应哪...

HDFS的架构优势与基本操作

阿莫夕林的博客

03-11

4451

如今，数据正以指数级增长，各行各业都在追求更多的数据存储、高效的数据处理和可靠的数据基础来驱动业务的发展。Hadoop Distributed File System（HDFS）作为Hadoop生态系统的核心组件之一，成为构建可靠的大数据基础的不二选择之一。本文将深入剖析HDFS的架构与优势。

Hadoop核心-HDFS的架构

qq_41858579的博客

04-17

666

全权管理数据块的复制，周期性的接受心跳和块的状态报告信息(包含该DataNode上所有数据块的列表)若接受到心跳信息，NameNode认为DataNode工作正常，如果在10分钟后还接受到不到DN的心跳，那么NameNode认为DataNode已经宕机 ,这时候NN准备要把DN上的数据块进行重新的复制。因为文件的元数据都是存在namenode的内存中，所以一关机，元数据信息就会丢失，这时数据会定期保存到本地磁盘（就是fslmage文件和edits文件）并非NameNode的热备。

java-Hdfs体系结构与基本概念

06-26

Java-HDFS 体系结构与基本概念 HDFS（Hadoop Distributed File System）是一种分布式文件系统，主要用于存储和管理大规模数据。HDFS 的设计初衷是为了满足高性能、高可靠性和高可扩展性的需求。 HDFS 体系结构 ...

HDFS基本架构及概念介绍

weixin_33910385的博客

04-29

532

简单介绍 l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据 HDFS概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录...

HDFS架构

Jaserok的博客

10-15

745

HDFS架构设计: 主从 NN 主名称节点 SNN 第二名称节点 --》NN DN 从数据节点 NN: 文件系统的命名空间 a.文件名称 b.文件目录结构 c.文件属性(创建时间权限副本数) d.文件对应哪些数据块—》数据块对应分布到哪些datanode节点上blockmap,namenode节点不会持久化存储这种映射关系，集群在启动时和运行时，datanode定期发送bloc...

Python入门day11之文件

程序彤的博客

09-27

1189

文件打开文件 open(‘根目录用双\’,‘打开模式’) r:只读方式 w:写入文件，覆盖已有内容 x:若文件存在，文件引发异常，若文件不存在，则创建新文件 b:以二进制模式打开文件 t:以文本模式打开文件（默认） +：可读写模式，如果使用r+，可对文件进行继续不覆盖写入；如果使用w+，则会清空文件中所有内容，须重新写入 f = open('D:\\学习\\python学习\\code\\day13\\file.txt','r+') f = open('D:\\学习\\python学习\\code\\d

HDFS架构及原理

code_rui的博客

12-03

5464

HDFS架构及原理 1、HDFS架构及存储 HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间 (Namespace )及客户端对文件的访问。集群中的DataNode一般是一个节点运行一个DataNode进程，负责管理它所在节点上的存储。

HDFS的体系结构和操作

weixin_33825683的博客

03-29

155

HDFS fs 常用命令 1.对hdfs操作的命令格式是hadoop fs 　　1.1 -ls <path> 表示对hdfs下一级目录的查看　　　　hadoop fs -ls hdfs://chaoren:9000/ ----对HDFS的根目录进行查看（Linux下：ls /）　　　　path:这个可以使用more core-site.xml进行查看，发现里面配置...

11张图了解HDFS的架构设计！

乔二爷

01-10

2419

HDFS 介绍 HDFS 是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。 HDFS 的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到数百个节点，能够存储海量的数据。比如说，某个表 100亿条数据，你还用MySQL 去存么？一台机器你的配置得多高才行，再考虑一下查询的效率。如果用了分布式存储之后，也就是说，这些数据放到N多台机器里面去存储，每个机器

HDFS组成架构概述

久醉绕心弦的博客

07-10

2038

1）NameNode：它是一个主管，管理者 1. 管理HDFS的名称空间 2. 配置副本策略 3. 管理数据块Block映射信息 4. 处理客户端读写请求 2）DataNode：执行实际的操作，执行者 1. 存储实际的数据块 2. 执行数据块的读/写操作 3）Client：客户端 1. 文件切分，文件上传HDFS时，client将文件切分成一个一个的Block，然后进行上传 2. 与NameNode...

hdfs基本命令

03-20

好的，我现在需要帮助用户了解HDFS的基本操作命令。首先，用户明确表示想学习这些命令，所以我应该提供一个清晰的列表，涵盖常见的操作，比如查看文件、创建目录、上传下载文件等。根据用户提供的引用资料，引用[1...