大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

最新推荐文章于 2024-04-30 07:32:34 发布
最新推荐文章于 2024-04-30 07:32:34 发布
阅读量3.3k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 程序员 文章标签： 大数据 Hadoop HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42248663/article/details/82560022
本文介绍了Hadoop分布式文件系统HDFS中的两类核心节点——NameNode和DataNode。NameNode作为管理者，负责内存中存储的metadata信息，如文件所有权、权限、Block列表等，并提供客户端读写服务。DataNode则是工作者，存储数据Block和其元数据，定期向NameNode汇报Block信息并维持心跳连接。NameNode的metadata通过fsimage和edits文件进行持久化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。

一、NameNode（NN）

——基于内存存储 ：不会和磁盘发生交换

·只存在内存中

·持久化

——NameNode主要功能

·接受客户端的读写服务

·收集DataNode汇报的Block列表信息

——NameNode保存metadata信息包括

·文件owership和permissions

·文件大小，时间

·（Block列表：Block偏移量），位置信息

·Block每副本位置（由DataNode上报）

二、NameNode持久化

——NameNode的metadate信息在启动后会加载到内存

——metadata存储到磁盘文件名为”fsimage”

——Block的位置信息不会保存到fsimage

——edits记录对metadata的操作日志。。。redis

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据学习之hadoop（NameNode和DataNode原理）
a18379692263的博客
11-05 1215
大数据 1、概念 大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据主要解决海量数据的采集、存储和分析计算的问题。 2、特点 大量、高速、多样、低价值密度（快速对有价值数据进行提纯） hadoop 1、概念 hadoop是分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。 2、环境准备 3、ha...
HDFS namenode和datanode简介
weixin_38011805的博客
03-04 1836
- HDFS集群的节点分为两类：namenode和datanode，以管理节点-工作节点的模式运行，即一个namenode和多个datanode，理解这两类节点对理解HDFS工作机制非常重要。   namenode作为管理节点，它负责整个文件系统的命名空间，并且维护着文件系统树和整棵树内所有的文件和目录，这些信息以两个文件的形式（命名空间镜像文件和编辑日志文件）永久存储在namenode 的本地磁盘上。除此之外，同时，namenode也记录每个文件中各个块所在的数据节点信息，但是不永久存储块的位置信息，因
HDFS中的Namenode和Datanode
qq_22883471的博客
03-08 448
HDFS Architecture： Namenode Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个，分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log)，这些信息被Cache在RAM中，当然
HDFS架构跟各个节点介绍
weixin_43975538的博客
07-08 3685
1.HDFS架构 Hadoop分布式文件系统（HDFS）是一个分布式文件系统，设计用于在商品硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的区别是显著的。HDFS具有高度的容错性，设计用于部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。HDFS最初是作为Ap...
配置两个两节点的HDFS集群
baidu_34660375的博客
07-30 985
1.在两台服务器（sr405和sr406）上安装JDK yum search JDK yum install java-1.8.0-openjdk-devel.x86_64 -y 设置java环境变量（export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_112 export JRE_HOME=/usr/lib/jvm/jdk1.8.0_112/jre expor...
Hadoop分布式文件系统hdfs代码分析.rar
最新发布
10-21
Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，专为存储大规模数据集而设计，能够跨多个硬件设备分布存储。HDFS具有高度容错性，可以在廉价的硬件上运行，并提供高吞吐量的数据访问，特别适合于大规模...
Hadoop分布式文件系统HDFS深入教程
07-11
### Hadoop分布式文件系统HDFS深入教程 #### HDFS概述 Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）作为Hadoop项目的核心组成部分之一，专为在大规模集群环境中高效存储与处理海量数据而设计。...
第3章-分布式文件系统HDFS.pdf
02-24
HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）作为这类系统的一个重要代表，其设计理念和实现细节具有典型的研究和应用价值。 分布式文件系统的一个关键特点是基于计算机集群结构，它能够将大规模...
【Hadoop】（一）分布式文件系统 HDFS_namenode -format format the dfs filesystem
2401_84166497的博客
04-30 885
Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。namenode是整个文件系统的管理节点。他维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
hdfs--hadoop--双namenode三datanode
weixin_34389926的博客
12-27 404
前提：搭建zookeeper集群、java环境、无秘互通注意：文中加粗部分表示需要按实际情况修改的部分 zookeeper可以参考：zookeeper传送门 下载安装包 https://mirrors.tuna.tsinghua.edu.cn/apache/ 是官网提供的安装包下载网站之一。 结构 主机名 study centos156 client IP 192.168.2...
hadoop集群环境搭建(2)--双NameNode
March
02-09 584
环境操作系统：Centos 6.4jdk: 1.7.79hadoop: 2.6.4四台主机：mini01(namenode) +mini02(datanode) +mini03(datanode) +mini04(namenade)部署一、解压hadoop-2.6.4.tar.gztar -zxvf hadoop-2.6.4.tar.gz 二、配置文件修改修改5个文件：hadoop-env.sh、...
hdfs数据节点实现
wqy1200的专栏
06-04 784
数据块存储 数据节点的磁盘目录文件结构 在第一次启动HDFS集群前，需要通过如下命令对名字节点进行格式化，让名字节点建立对应的文件结构： bin/hadoop namenode–format 数据节点可以管理多个数据目录，被管理的目录通过配置项${dfs.data.dir}指定，如果该配置项的值为“/data/datanode,/data2/datanode”，则数据节点会管理这两个目录，并把它们作为数据块的保存目录。 其中各个目录的作用如下： blocksBeingWritten：由名字可以知道，该文件
HDFS：NameNode和2NN工作原理分析
BoringError的博客
08-28 920
在HDFS的组成中，最重要的两个核心进程分别为NameNode和DataNode，NameNode负责存储元数据信息，而DataNode则用于存放数据，而另一个进程被称为2NN（Secondary NameNode），它的作用在于辅助NameNode做日志合并，防止元数据丢失。
HDFS之namenode与datanode理解
热门推荐
窃格拉瓦
08-16 3万+
一、HDFS集群   HDFS集群有两类节点以管理节点-工作节点模式运行，即一个namenode(管理节点)和多个datanode(工作节点)。namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内的所有文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode也记录着每个文件中各个块所在的数据节点信息，但是它并不会永久保存块的位置信息...
HDFS~HDFS的主从节点架构
feizuiku0116的博客
05-04 2088
一、NameNode 主节点，经常简写为NN，用于管理整个文件目录树 管理各DataNode主机，协调它们之间的配合，监视DataNode的生存情况，对长时间无反应的DataNode不再访问 二、DataNode 从节点，经常简写为DN，用于存放文件 为了使NameNode能监视自己，DataNode定时向NameNode发送心跳证明自己还活着，如果长时间不发送，NameNode就认为它死了 三、HDFS的冷热均匀 HDFS支持DataNode热扩展，即随时加入新的DataNode而不需要重启Nam
HDFS分布式文件系统详细介绍
bitmao888的博客
03-31 2523
文章目录1、分布式文件系统详细介绍2、HDFS分布式文件系统设计目标3、HDFS的来源4、HDFS的架构图之基础架构5、抽象成数据块的好处块缓存hdfs的文件权限验证6、HDFS的元数据信息FSimage以及edits和secondaryNN的作用FSImage与edits详解FSimage文件当中的文件信息查看edits当中的文件信息查看secondarynameNode如何辅助管理FSImag...
HDFS_06_HDFS服务器节点的分类
huoborn
11-26 2188
HDFS_06_HDFS服务器节点的分类 持续更新大数据文章… 1. HDFS服务器节点的分类 ⭐️ 经过前面的铺垫，现在是正式进入了 HDFS。 分布式文件系统（DFS）是一个统称，HDFS 是指 Hadoop 的分布式文件系统，HDFS 原理和 DFS 类似。所以你会发现，HDFS 和前面学的 DFS 很类似。 HDFS 节点分为三类：NameNode、DataNode、SecondaryNameNode 1.1 为何要对HDFS服务器节点进行分类? 我们先看看上面的图，客户端的文件被拆分成了数据
Hadoop分布式和伪分布式下NameNode和DataNode的分布
weixin_56068397的博客
08-19 3077
今天布置了有关hadoop分布式与伪分布式的作业，经过资料的查询，了解了很多概念，以下为整理的相关信息。 概念的理解： （1）分布式 利用分而治之的思想： 随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统（HDFS）。 (2)伪分布式 Hadoop的伪分布式： 伪分布式就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下
HDFS分布式文件系统
weixin_52465547的博客
04-28 4682
HDFS分布式文件系统 学习目标： 1.1 了解HDFS的基本概念 1.2 掌握HDFS特点 1.3 掌握HDFS的构架和原理 1.4 掌握HDFS的Shell和JavaApi操作 学习内容： 1.1 HDFS的基本概念 HDFS（Hadoop Distributed File System）是一个易于扩展的分布式文件系统，运行在成百上千低成本的机器上。它与现有的分布式文件系统有许多相似之处，都是用来存储数据的系统工具，而区别在于HDFS具有高度容错能力，意在部署在低成本机器上。HDFS提供对应用程序数据的
深入理解Hadoop分布式文件系统HDFS
"Hadoop分布式文件系统详解文档详细阐述了Hadoop的架构以及其核心组件HDFS的体系结构，重点解析了NameNode的功能和运作机制，包括元数据信息、文件操作、副本策略以及心跳机制。" 在大数据处理领域，Hadoop是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值