HDFS原理

HDFS 原理分析 客户端拿到数据存放节点位置信息后,会和对应的DataNode节点进行直接交互,进行数据写入,由于数据块具有副本replication,在数据写入时采用的方式是先写第一个副本,写完后再从第一个副本的节点将数据拷贝到其它节点,依次类推,直到所有副本都写完了,才算数据成功写入到HDFS上,副本写入采用的是串行,每个副本写的过程中都会逐级向上反馈写进度,以保证实时知道副本的写入情况;、NameNode会将子节点的相关元数据信息缓存在内存中,对于文件与Block块的信息会通过。 阅读详情

HDFS原理

HDFS架构图

在HDFS中有三个模块
分别是:NameNode、SecondaryNameNode、DataNode

1.NameNode

NameNode是掌控全局的模块,主要作用有:
①.用来管理DataNode以及元数据;

  • 文件的上传时间
  • 文件权限
  • 文件的位置信息
  • block的Id

②.提供读写服务;
  接收来自Client的读写请求,返回BlockId、地址等信息
 
③.收集DataNode汇报的block信息以及心跳信息。

NameNode保存的metedata信息包括:
文件owership和permissions

  • 文件大小,时间
  • block列表:blockID
  • Block副本位置(由DataNode上报)

SecondrayNameNode

作用:持久化内存中的元数据,除了block的位置信息,其他元数据都会持久化

由于NameNode中产生的元数据都是在内存中,随着文件越来越大以及各种各样的原因,存放在内存中就会不稳定,我们可以使用SecondaryNameNode将元数据持久化到磁盘上来保证数据的稳定性。在持久化的信息中,没有block的位置信息,因为block的位置是有可能发送变动的,如果block位置信息发生变化,就会产生信息的不同步,降低集群的可用性。
在这里插入图片描述
首先,SecondaryNameNode会把NameNode中的edits和fsimage文件拉取过来,其中edits中存储的是NameNode的这个阶段的所有操作,fsimage则是空的文件,在SecondaryNameNode中,会根据edits重演NameNode的操作,并将产生的数据存放到fsimage中,最终合并到fsimage.ckpt中,然后把fsimage.ckpt推送到NameNode中。

DataNode

作用:
1.存储源数据(以block块的形式存储)
2.接收客户端的读请求
3.向NameNode发送心跳信息

写的流程

通过管道实现并行存储,同步的对block数据块进行写入与备份,写的时候把block块分成64K大小的packet通过管道开始源源不断的传输。
之所以会使用管道机制,是为了实现并行存储,这样会减少上传的时间,提高整个集群的可用性。
写操作的详细过程 1. 如果要上传一个大文件,client切割大文件,计算大文件block数,大文件地址/128M=block数量
2. client对NameNode汇报:
(1)当前大数据文件的block数
(2)当前大文件属于谁 权限
(3)上传时间
for(Block block:bocks(大文件切割出来的Block)){
3. client切割出来一个block
4. client请求block块的Id号以及地址
5. 因为NameNode能够掌控全局,管理所有的DN,所以它将负载不高的DN地址返回给client
6. client拿到地址后找到DN去上传数据
7. DN将block存储完毕之后会向NameNode汇报当前的存储情况
}

读的流程

1.client访问NameNode,查询元数据信息,获得这个文件的数据块位置

2.就近挑选一台datanode服务器,请求建立输入流 。

3.DataNode向输入流中写数据

4.关闭输入流

备份机制

1.第一个block存储在负载不是很高的一台服务器上

2.第一个备份的block存储在与第一个block不同机架的随机一台服务器上

3.第二个备份在与第一个block备份相同机架的不同服务器上

注意:集群的DataNode节点要大于等于副本数+1

权限

依据Linux的用户权限系统

安全模式

1.加载fsimage到内存中

2.如果edits文件不为空,那么NameNode自己来合并

3.检查DataNode的健康情况

4.如果有DataNode死亡,指挥做备份
22h2版本的win10安装Docker Desktop时页面空白 摘要:Windows10 22H2系统重装Docker时出现安装界面卡死问题,通过管理员CMD执行静默安装命令解决。命令指定了WSL-2后端及多个自定义数据存储路径(安装目录、Hyper-V数据、Windows容器数据、WSL数据),安装需等待几分钟。最终验证安装成功。 阅读详情

相关推荐

SAP MM 物料描述MAKTX 40个字符不够用的问题处理

SAP物料描述表,长度40个字符一般情况下,40个字符在描述中也够用了,但是要加上规格之类的额外描述就不一定了,特别是对于辅助件-刀具。解决方案一:对maktx增强,换成CHAR80或者CHAR100的,但是风险较大,涉及到好多地方,另外SAP+ 算号器 也不支持。解决方案二:增强字段。内部顾问,建议在 那就在这里加一个字段,具体过程如下:1、创建域2、创建架构3、附加架构4、GUI 设置 5、后台设置6、MASS/MM17字段新增。过程1、创建域 SE112、创建结构 se11 3、MARA附加架构

GAVIN 4732

Hadoop原理之——HDFS原理

  Hadoop 3个核心组件: 分布式文件系统:Hdfs——实现将文件分布式存储在很多的服务器上(hdfs是一个基于Linux本地文件系统上的文件系统) 分布式运算编程框架:Mapreduce——实现在很多机器上分布式并行运算 分布式资源调度平台:Yarn——帮用户调度大量的mapreduce程序,并合理分配运算资源   HDFS的设计特点是: 1、大数据文件,非常适合上T级别的大文件或者一堆大数据文件的存储,如果文件只有几个G甚至更小就没啥意思了。 2、文件分块存储,H..

weixin_41153425的博客 3729

【codex教程】Codex 注册和使用教程(2026最新版)

Codex 是 OpenAI 推出的 AI 编程助手,可以帮助开发者阅读代码、修改代码、运行命令、生成测试、排查 bug、做代码审查,也可以在终端、IDE、Codex App 或网页端使用。根据 OpenAI 帮助中心,截至 2026 年 6 月,Codex 已包含在 Free、Go、Plus、Pro、Business、Edu 和 Enterprise 等 ChatGPT 方案中,但不同套餐的使用额度会有所不同。适合开发者在终端中使用。如果你想在命令行里使用 Codex,可以安装 Codex CLI。

与时俱进,开放共享 2万+

hdfs原理

简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 (用空间换安全) ② 运行在廉价的机器上。 ③ 适合大数据的处理。多大?多小?HDF...

raining_time的博客 1334

保姆级教程:在LKD3588开发板上为RK3588添加SC2210摄像头驱动(含完整DTS配置)

本文提供了一份详细的教程,指导如何在LKD3588开发板上为RK3588处理器添加SC2210摄像头驱动,包括完整的DTS配置和内核编译步骤。教程涵盖了环境准备、驱动文件添加、DTS配置详解、内核编译与烧录、驱动测试以及常见问题排查,帮助开发者快速实现SC2210传感器在RK3588平台上的集成与优化。

weixin_42641741的博客 480

MT5交易软件系统源码

Manager配置的功能及权限:管理客户、开户,销户、入金、信用额度、修改定单、人工交易报表、设定点差、强制平仓、修改密码,设定持仓交割单或挂单小止盈止损点数;26、修改价格 27、更改K线图历史价格 28、同步历史数据;2、系统设置 3、交易管理 4、交易柜台 5、价格更改 6、多台服。务器联机 7、恢复交易历史 8、数据源调整 9、备份服务调整 10、交易市场设定 11、交易单更改 12、平台时间设定(全世界) 13、可添加商品;15、设置商品利息;独立主机(服务器、VPS、VM)

tutujunjun的博客 904

HDFS工作原理

1、读数据 客户端将要读取的文件路径发送给namenode,namenode获取文件的元信息(主要是block的存放位置信息)返回给客户端,客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件。 2、写数据 客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode

m0_51484502的博客 598

VIVADO IP核之FIR抽取器多相滤波仿真

关于FIR低通滤波器和多相滤波插值器的使用,我之前的文章已经介绍过了,本文将继续深入介绍FIR抽取器多相滤波的使用方法,并将FIR抽取多相滤波的结果与MATLAB仿真计算的结果比较,验证了FIR抽取器多相滤波使用正确。

m0_66360845的博客 3698

HDFS 底层交互原理,看这篇就够了!

HDFS 架构模型,源码级读写流程,故障转移切换!

小林玩大数据 1231

【PINN高级教程】 第1讲:函数空间与逼近理论

结论:在解决偏微分方程(PDE)时,解往往属于某个 Sobolev 空间 HsHs,其正则性受限于 PDE 的系数与边界条件;而 PINN 在训练过程中实际上是在逼近 Barron 空间中的函数。由于 Barron 空间允许高频信息的压缩,PINN 可以在参数规模较小的情况下捕捉到 PDE 解所需的细节,但其正则性保证仍然比 Sobolev 更弱。因此,在设计 PINN 时,需要通过正则化或网络结构(如残差连接、归一化层)来“逼近”Sobolev 正则性。

u012133341的博客 239

网红商品数据抓取:基于Python的高效爬虫实战

本篇博客介绍了从爬取到存储、分析和可视化网红商品数据的完整流程。通过Python的强大生态,我们能够轻松完成复杂的数据抓取任务。在实际应用中,还可以将此爬虫与机器学习模型结合,进一步挖掘数据价值。

2201_76125261的博客 1478

Hadoop(二) HDFS 底层原理解析

目录 HDFS概念 HDFS优缺点 优点 缺点 HDFS 架构/角色 Client:客户端 NameNode:master,它是一个主管、管理者 DataNode Secondary NameNode hdfs启动过程 启动脚本分析 HDFS启动过程--源码分析 HDFS 文件块大小 HDFS的元数据管理 NameNode 元数据存储机制 查看编辑日志 hdfs...

开开心心 1902

「自然语言驱动生产力」17. 秒出端子图:DeepSeek+EPLAN实现机柜布线自动化——电气工程设计的效率革命

摘要:在电气工程设计领域,机柜布线与端子图绘制长期依赖人工操作,存在效率低、易出错等痛点。本文提出基于DeepSeek大模型与EPLAN软件的集成方案,通过自然语言指令驱动自动化设计流程。实验表明,该方案可将PLC柜端子图绘制从传统3小时压缩至2分钟,线号标注准确率达100%,BOM表实现实时导出。文中详细阐述了系统架构、IO配置解析算法、端子排自动生成逻辑及线缆优化策略,提供了完整的Python实现代码与污水处理厂鼓风机控制柜的实际应用案例,验证了自然语言驱动技术在电气工程设计中的实用价值。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 2056

简单理解HDFS原理

HDFS是分布式文件系统,专为存储处理海量数据设计。其核心架构包括唯一NameNode(管理元数据)和多个DataNode(存储数据块)。工作原理是将大文件切分为128MB的块,默认复制3份存储于不同节点,实现负载均衡与容错。具有"一次写入多次读取"特性,强调高吞吐而非低延迟,采用移动计算而非移动数据的理念。系统自动检测故障并复制缺失副本,确保数据完整性。HDFS通过普通硬件集群提供高可靠存储,广泛应用于日志分析、数据仓库等大数据场景,是构建大数据技术栈的基础组件。

Xuepaoa的博客 2278

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

HDFS 原理 详解

HDFS重要特性--主从架构这是HDFS是Hadoop 核心重要的组件之一 , 解决大数据计算中的海量存储数据下面是HDFS原理 架构 以及模块组成提示:以下是本篇文章正文内容,下面案例可供参考传统情况零拷贝技术:DMA 将一个内存区从一个设备复制到另一个, 当中央处理器初始化这个传输动作,传输动作本身是由DMA控制器来实行和完成1 HDFS是Hadoop Distribute File System 的简称,意为:Hadoop分布式文件系统。

m0_66882197的博客 1691

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

HDFS的存储原理

在hdfs中,文件是被划分了一堆堆的block块,那如果文件很大、以及文件很多,Hadoop是如何记录和整理文件和block块的关系呢?对于已经存在HDFS的文件,修改dfs.replication属性不会生效,如果要修改已存在文件可以通过命令。edits文件,是一个流水账文件,记录了hdfs中的每一次操作,以及本次操作影响的文件其对应的block。除了配置文件外,我们还可以在上传文件的时候,临时决定被上传文件以多少个副本存储。将全部的edits文件,合并为最终结果,即可得到一个FSImage文件。

weixin_49107940的博客 1622

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

HDFS的基本原理

HDFS 架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。Namenode管理文件系统的元数据,而Datanode存储了实际的数据。 一.NameNode概述 1.NameNode是HDFS的核心 2.NameNode也称为Master。 3.NameNode仅存储HDFS的元数据:文件系统中所有文件的目录树,并跟踪整个集群中的文件。 3.NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。 4.NameNo

weixin_51999257的博客 443

HDFS SnapShot原理

【简介】 HDFS快照简单地说就是对某个文件夹进行备份,创建了快照的文件夹本身不能被删除,但是文件夹里面的文件和文件夹都是可以被删除的。在对一个文件夹创建快照之前,需先允许该文件夹可以创建快照 允许快照hdfs dfsadmin -allowSnapshot <path> 创建快照hdfs dfs -createSnapshot <path> [<snapshot...

ywl470812087的博客 11万+

简述hdfs工作原理_简述HDFS的原理?

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的 机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。1、分布式文件系统多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统。分布式文...

weixin_33480732的博客 2472

HDFS基本的原理

一、HDFS简介 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS体系结构中有两类节点,一类是NameNode,又叫"元数据节点";另一类是DataNode,又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的执行节点。总的设计思想:分而治之——将大文件、大批量文件,分布式存放在大量独立的服务器...

weixin_44961645的博客 8241
下一篇: HDFS伪分布式的搭建步骤
PowerBlogger
博客等级 码龄8年 10粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值