HDFS写数据的流程

DataNode,机架感知,写入写出数据,数据一致性,入门级指令 DataNode作用 1、执行数据的读写(响应的是客户端) 2、周期性向NameNode做汇报(数据块的信息、校验和) 若datanode 10分钟没有向NameNode做汇报,表示已丢失(已宕机) 心跳周期 3秒 3、执行流水线的复制(一点一点复制) 机架感知 实际上需要工程师收到创建一个脚本(python sh ),脚本中记录主机IP和交换机的对应关系。 配置的位置是core-site.xm... 阅读详情

1、客户端:namenode 我要写数据! 我写的数据名字叫/test/a.txt 我有三个副本,按照128M切块

2、namenode:我查过了,你这个目录存在 可以写入(你这个文件都没有写个P)

3、客户端: 我要写第一个文件了

4、namenode:好的,给你三个机器,dream1,dream2,dream3 往这里写吧,而且blockId=7740,你们写块的时候 都要带上blockId=7740的标识 

 

经过一个交换机我们称为1跳

客户端----->交换机A------->dream1 :我们成为1跳

客户端----->交换机A------->dream2:我们成为1跳

客户端----->交换机A------->交换机C-------->交换机B---------->dream3 :我们成为3跳

5、客户端:dream1,dream2,dream3,我到dream1、dream2、dream4有一跳,到dream3有三跳,那我往dream1写了。我得把我的副本地址和blockId都告诉他,让他们建立好PIPELINE

6、dream1的datanode:收到,你还要写到dream2和dream3吗,我这就告诉dream2,我写给dream2,让dream2写给dream3,我们几个datanode通起来 ----数据流建立完成后----  客户端我们准备好了 你写吧

7、客户端:好的datanode(dream1),开搞

8、datanode:传输完成 数据流关闭了。

重复3-8

9、客户端:namenode我写完了,你确认一下

10、确认完闭,副本数量正常(不正常我会帮你复制的)

 

HDFS读写流程介绍,HDFS读数据和写数据的原理是什么? Client(客户端)对HDFS中的数据进行读写操作,分别是Client从HDFS中查找数据,即为Read(读)数据;Client从HDFS中存储数据,即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件,大小为300M,这样就划分出3个数据块,如图1所示。   图1 文件划分情况   下面,我们借助图1所示的文件,分别讲解HDFS文件读数据和写数据的原理。   1.HDFS写数据原理   在我们把文件上传到HDFS系统中,HDFS究竟是如何存储.. 阅读详情

相关推荐

HDFS写数据、读数据流程

八、HDFS读、写数据流程。本文内容,涉及到原理,在面试中会问到

扛麻袋的少年的博客 370

DataNode写数据

client发送块给pipeline上的第一个datanode,此datanode将块数据写到本地并传给下一个。然后将后续块返回来的响应信息加上自身的操作结果信息一起返回到前面。在pipeline上,如果某个DataNode有后续节点,那么,它必须等到后续节点的成功应答,才可以发送应答到它前面的节点。   写操作DataXceiver.writeBlock:

zhu's 专栏 1342

Win10家庭版没有Hyper-V?教你一招轻松解决(含避坑指南)

本文详细介绍了在Win10家庭版中启用Hyper-V的完整实战指南。通过DISM工具链绕过系统版本限制,无需重装系统即可完整启用所有Hyper-V组件,适用于开发者测试多系统环境和安全隔离应用场景。文章包含详细操作步骤、常见问题解决方案及性能优化配置,帮助用户轻松解决Win10家庭版没有Hyper-V的问题。

weixin_29239661的博客 496

HDFS架构师 4- DataNode写数据详细分析

UNIT4 image.png 1. 创建INodeFile流程分析 2步: FSDataOutputStream focus——》FileSystem.create focus.write(bytes[]) 抽象类 FSDataOutputStream.create 实现类 DistributedFileSystem.create ——》DFSClient.create ...

肥猫64的博客 507

Keil 丢失编译器版本5、内核文件core_cm3.c报错

若用的是旧版本的core_cm3.c ,就使用编译器v5编译工程;若想用编译器v6,就更新4个相关的内核文件:(CMSIS:Cortex Microcontroller Software Interface Standard,ARM Cortex™ 微控制器软件接口标准)

qq_52804040的博客 6245

海康视觉脚本开发全流程解析

本文详细解析了海康机器视觉平台(VM)中脚本模块的开发全流程。从创建第一个脚本模块入手,深入讲解了输入参数、输出参数与内部变量的定义与区别,并提供了C#脚本编写、公用函数调用、代码结构组织以及编译调试的实用指南。旨在帮助开发者掌握海康视觉脚本开发的核心技巧,高效实现复杂的自定义视觉逻辑处理。

beer8的博客 603

Hdfs写数据的流程

1概述客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本2详细步骤图3详细步骤解析1.跟namenode通信请求(RPC)上传文件,namenode中的元信息检查目标文件是否已经存在,父...

GaoChenXi 1784

双目视觉入门实战:用Matlab标定相机,再到Python OpenCV完成测距的完整链路

本文详细介绍了双目视觉技术的完整实现流程,从Matlab相机标定到Python OpenCV测距的全链路实践。重点解析了Matlab与OpenCV的参数转换技巧,以及立体校正、视差计算等关键步骤的代码实现,帮助开发者快速掌握双目测距系统的搭建方法。

weixin_29166013的博客 447

HDFS写数据流程 源码阅读与原理解读

一、前言 想必每次去面试都复习这样一道题:HDFS 的读写流程,自然是先百度一番,复制一下答案,1 2 3 4 5 6 点,背一背完事。面试完,还是不了解 HDFS 究竟是怎么设计这个写数据流程的。 其实这个里面也有很多我们值得学习的东西,比如既然写数据到 DataNode,如何保障数据一致性,如何保障数据在写的时候不丢失,重试如何做的,如何做三备份的? 那么这次咱就趴一趴 HDFS 的写数据流程吧。 二、往 HDFS 写数据的客户端代码 我们用 HDFS 的 api ,从一个写数据的代码开始剖析这个过程:

天道酬勤 2072

锁定放大器

锁定放大器

qq_46757048的博客 4706

组基轨迹建模 GBTM的介绍与实现(Stata 或 R)

组基轨迹建模(Group-Based Trajectory Modeling,GBTM)(旧名称:Semiparametric mixture model)历史:由DANIELS.NAGIN提出,发表文献《Analyzing Developmental Trajectories:A Semiparametric,Group-Based Approach》GBTM能够将一群人的轨迹分类并生成数个具有代表性的运动轨迹模型,然后对每个轨迹模型进行分析,以了解人们的运动特征、生理水平和风险等级等。

三分钟热度 1万+

HDFS源码-写数据流程

HDFS源码-写数据流程 hadoop版本:2.7.0 文章目录HDFS源码-写数据流程前言一、整体写流程二、使用步骤1.引入库2.读入数据总结 前言 这里主要分析HDFS的写数据流程,包括客户端、输出流包装类对象、chunk、packet、pipeline、dataqueue、ackqueue等概念内容比较多,慢慢一点点的分析。这里我以copyToLocalFile()方法为例来通过源码整体分析HDFS的写数据流程。 一、整体写流程 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据

尹忠政的博客 718

Windows 11 安装 JDK 21:下载、安装、配置环境变量、验证

本文详细介绍了在 Windows 11 系统中安装 JDK 21 的完整流程,包括从 Oracle 官网下载压缩包、解压至自定义目录、配置 JAVA_HOME 与 Path 环境变量,并验证安装是否成功。文章推荐使用 ZIP 压缩包而非安装程序,以实现绿色便携、多版本共存等优势,并通过一个包含 Java 21 新特性的示例程序进行功能验证,适合开发者快速上手。

寒水馨 · 轻量级技术文档 · hanshuixin.org 2521

HDFS写数据的流程图

学亮编程手记 551

基于 ESP32 的智能环境监测与远程报警系统

本系统基于 ESP32 实现了环境数据的采集、远程传输、报警通知功能,硬件成本低、接线简单、代码可直接运行。用户可根据实际需求调整传感器类型(如替换为 PM2.5 传感器、土壤湿度传感器)和功能扩展,适合嵌入式 IoT 入门学习和实际场景应用。通过多轮迭代(如优化低功耗、增加 APP 控制),可进一步提升系统的实用性和稳定性。

weixin_42300449的博客 1025

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

HDFS写数据流程

HDFS写数据流程一、宏观流程二、微观流程 一、宏观流程 注:以下nn代表NameNode;dn代表DataNode 1. 客户端向HDFS发送写数据请求 hdfs dfs -put tomcat.tar.gz /bdp 2. filessystem通过rpc调用namenode的create方法 nn首先检查是否有足够的空间权限等条件创建这个文件,或者这个路径是否已经存在 有:nn会针对这个文件创建一个空的Entry对象,并返回成功状态给DFS 没有:直接抛出对应的异常,给予客户端错误提示

奇怪的博客 341

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

hadoop---HDFS写数据流程

客户端资讯NameNode,第一块存储在哪里,NameNode告诉客户端存储在哪几个DataNode。打招呼,通知NameNode,要在某个位置存入一个文件。要注意,存储的块是一块一块按序存储,不能一起进行。先 检查权限,检查客户端是否有权进行操作。最后 通知客户端,是否可以开始执行操作。后 检查文件,检查是否有所要写入的位置。客户端将上传的文件内容分成块。

ahyyyjj的博客 819

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

hdfs写数据流程(面试重点)

7、客户端开始往DataNode1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet为单位,DataNode1收到一个Packet就会传给DataNode2,DataNode2传给DataNode3;5、客户端通过FSDataOutputStream模块请求DataNode1上传数据,DataNode1收到请求后会继续调用DataNode2,然后DataNode2调用DataNode3,将这个通信管道建立完成。如果有多个Block就会一直重复3-8步,直到所有Block上传完成。

2301_82333233的博客 950

HDFS之写数据流程

此图是HDFS之NN、DN之间写数据的流程图,面试会用到 下面这张图是官网上写的

孤独的博客 126
上一篇: 分布式wordcount Reduce阶段
下一篇: HDFS读数据的流程
JNWsong
博客等级 码龄9年 287粉丝 204原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值