详解大数据HDFS分布式文件系统的写入流程

最新推荐文章于 2022-07-05 09:00:18 发布
原创 最新推荐文章于 2022-07-05 09:00:18 发布 · 261 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS

本文详细解析了Hadoop中文件删除的具体流程，包括客户端如何通过RPC请求到NameNode，NameNode更新edits文件及内存元数据的过程，以及DataNode在接收到NameNode指令后如何真正删除文件块。

删除流程:
1.客户端发起RPC请求到NameNode
2.NameNode收到请求后,将这个操作更新到edits文件以及内存中
3.NameNode更新完内存中的元数据之后,会给客户端返回一个ack信号,表示已经删除成功,但此时这个文件并没有真正的从DataNode上删除.
4.等到DataNode发送心跳信息给NameNode的时候,NameNode收到心跳信息后.NameNode发现DataNode和自己身上的元数据信息不一致,就会通知DataNode删除对应的文件块

分布式文件系统实现互斥写入
ljyss9的博客
02-13 300
本文会简单介绍常见的分布式锁实现方案，方案在实际使用中所存在的问题，以及利用dfs特性实现分布式文件互斥写入、删除。
HDFS分布式文件系统架构原理详解
蔡政洁的博客
06-21 2177
目录一、HDFS的优缺点（1）优点（2）缺点二、HDFS架构原理（1）NameNode详解（2）Secondary NameNode详解（3）HDFS NameSpace详解（4）DataNode详解（5）Client详解（6）HDFS通信协议（7）HDFS的安全模式三、HDFS文件读写的解析（1）文件读取流程（2）文件写入流程四、副本机制 HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布
Hadoop之HDFS分布式文件系统读写流程详解
hengzq的博客
07-12 3483
1、名词解释：        NameNode：                ①、整个文件系统的管理节点。维护着整个文件系统的文件目录，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。                ②、文件包括:                               fsimage:元数据镜像文件。存储某一段NameNode内存元数据信息。
操作分布式文件之八：如何批量并行读写远程文件和事务补偿处理
05-29 966
FileBatch类提供了一系列对批量并行读写操作支持（包括对FttpAdapter和FileAdapter），它跟并行读写的区别是不需要检查结果，会等到所有并行读写任务全部完成才返回，并在发生异常时提供事务补偿支持。 1、批量并行读： public Result[] readAllBatch(TryByteReadAdapter[] fras) 实现对多个FttpReadAdapter任务
MFS分布式存储系统(2)-文件写入方式与文件恢复、存储类
小螺号的博客
04-21 363
文章目录一、文件写入方式与文件恢复1.文件写入2.文件恢复二、存储类1.添加chunk server节点1.示例12.示例2 一、文件写入方式与文件恢复 1.文件写入 mfs默认的单个chunk大小为50M,如果写入文件大于50M,则mfs会为其分配多个chunk来存储 mfs写入过程图解： 2.文件恢复 [root@foundation1 mfs]# cd dir1 [root@foundation1 dir1]# ls passwd [root@foundation1 dir1]# rm -rf
HDFS分布式文件系统具备的优点共2页.pdf.zip
10-28
《HDFS分布式文件系统的优势详解》 Hadoop Distributed File System（HDFS）是Apache Hadoop项目的核心组件之一，它是一个高度容错性的分布式文件系统，专为处理大规模数据集而设计。HDFS的设计理念和特性使其在大...
04：HDFS分布式文件系统.zip
最新发布
03-08
《HDFS分布式文件系统详解》 Hadoop Distributed File System（HDFS）是Apache Hadoop项目的核心组件之一，它是一个高容错、可扩展的分布式文件系统，专为处理大规模数据而设计。HDFS的设计目标是将大型数据集分布...
HDFS分布式文件系统知识总结
CycloneKid的博客
01-22 1992
文章目录一.分布式文件系统HDFS二.HDFS的特点及适用场景2.1 HDFS的高容错性2.2 HDFS的适用场景三.HDFS架构3.1 HDFS集群中的主要角色3.2 NameNode和Secondary Namenode的工作原理FsImage和EditsNameNode和Secondary Namenode的工作流程NameNode和Secondary Namenode功能详解3.3 Dat...
厦门大学林子雨：HDFS详解与大数据分布式文件系统应用
在《大数据技术原理与应用》一书中，作者林子雨，厦门大学计算机科学系教授，深入讲解了第三章的主题——分布式文件系统HDFS。这一章节首先介绍了分布式文件系统的基本概念，包括计算机集群的结构，如如何将文件分散...
分布式搜索引擎写入和查询的工作流程
zjuwzp的博客
08-17 290
1、es写数据过程 1）客户端选择一个node发送请求，这个node就是coordinating node（协调节点）。 2）coordinating node，对document进行路由，将请求转发给对应的node（有primary shard）。 3）实际的node上的primary shard处理请求，然后将数据同步到replica node。 4）coordinating node，如果发...
深度分析分布式文件系统（Hadoop HDFS）客户端写入机制
守护石大数据
11-30 1420
1. 开篇 Hadoop分布式文件系统（HDFS）是Hadoop大数据生态底层的数据存储设施。因其具备了海量数据的分布式存储能力，并针对不同批处理业务的大吞吐数据计算承载力，使其综合复杂度要远远高于大多数存储系统。 本文重点从客户端文件向HDFS写数据的角度切入，通过架构体系的分析绘制，源代码的层层分析，逐渐深入Hadoop内部机制，使其流程逐渐明朗化。HDFS数据写入过程是Hadoop核心技术中最复杂的流程之一，对其原理的掌握需要花费一些时间和精力，但这部分内容也是分布式文件系统架构机制的精髓所在。
Clickhouse 分布式表的写入原理
qq_43115606的博客
07-05 4299
表引擎是一种特殊的表引擎，自身不会存储任何数据，而是通过读取或写入其他远端节点上的表进行数据处理的表引擎，该表引擎需要依赖各个节点的本地表来创建。 表引擎有5个参数，前三个参数是指定本地表所在集群的数据库和表名：这里略过 SQL 的词法解析、语法解析等步骤，直接从输出流的方法开始。 在中数据都是由来组织的，调用方法写一批数据。上面可以看到写入的过程中分为同步写和异步写，通过来控制，该参数的值是由配置的，默认为。接下来分别介绍同步写和异步写。同步写主要分为以下四步： 下面将详细分析同步写的前三步。在方法初始
分布式文件系统（HDFS）读写流程
weixin_46015057的博客
05-28 1547
HDFS数据副本机制 ​1、第一份数据来源于用户的客户端 ​2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu 内存 io 使用率和节点磁 盘剩余容量）选取一个节点进行存放 ​3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu 内存 io 使用率和节点磁盘剩余容量），选择一个节点进行存放 NameNode的三大作用 ​1、维护、管理HDFS的目录数-元数据-名字空间 ​2、确定指定的文件块到具体的DataNode结点的映射关系。
Hadoop分布式文件系统数据流：文件读取与写入
Mew的博客
03-14 1252
文件读取（流程图）： 节点距离：两个datanode节点分别到他们最近的共同父节点距离的和（举例：相同机架不同服务器节点距离为2，相同机房不同机架节点距离为4，相同数据中心不同机房节点距离为6） 在读取过程中如果某datanode节点宕机，就会找下一个datanode去拉取数据，并且client会记下此节点，下次读取数据时直接跳过此节点 若拉取回的数据块损坏，则到下一个datano...
分布式文件系统HDFS架构和数据读写流程
机器熊的技术大杂烩
04-14 1640
Hadoop核心由HDFS和MapReduce组成，HDFS负责分布式存储，MapReduce负责分布式计算。 Hadoop框架整体架构 Hadoop整体架构如下图所示,NameNode（命名节点/管理节点）和DataNode（数据节点）构成了HDFS的主要框架，JobTracker和TaskTracker构成了MapReduce的主要框架。 HDFS HDFS（Hadoop Distrib...
分布式文件系统HDFS原理篇
iva_brother的博客
05-26 5769
所谓分布式文件系统就是通过网络实现文件在多台主机上进行分布式存储的文件系统！它一般采用“客户端/服务器端”的模。 分布式文件系统的结构 如下图所示，分布式文件系统在物理结构上是由计算机集群的多个节点构成的。这些节点分为主节点（Namenode,也叫做名称节点）和从节点（Datanode，也叫做数据节点）。其中主节点负责文件和目录的创建、删除和重命名等，同时管理着从节点和文件块的映射关系，因此客...
ES分布式写入的数据一致性问题
走向程序的康庄大道
10-02 4416
ES数据写入过程 ES索引由多个分片组成，分片有主分片和副本分片，且主分片和副本不能同时在同一节点上。可以看到，ES数据写入是一个分布式的过程。假设客户端发送批量写请求，ES写入过程如下： 1）协调节点接收到写请求，并做参数校验处理、生成id等； 2）计算每条数据归属的主分片，形成Map<ShardId, List<RequestBulkItem>>列表； 3）根据上面的列表，协调节点异步并行转发到所属分片； 4）主分片接收到协调节点转发过来的请求，先由lucene写入pa
ClickHouse系列--分布式表写入流程
IT云清
05-28 3519
摘要：在向ck集群写入数据的过程，有2种方案，一种是直接写本地表，一种是通过Distributed表引擎写分布式表。本文介绍写分布式表的核心流程。 先假定场景和统一命名： 我们假设有cluster1,和cluster2两个集群。 本地表log_local对应的分布式表为log_all。 假设请求A进来后请求到cluster1的分布式表log_all，要写入100条数据。 1.第一个分片写本地数据 1）cluster1节点接收到请求后，会根据分片键/分片表达式计算这100条数据的分片划分，一部分应该到clus
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值