HDFS写数据流

最新推荐文章于 2025-11-08 20:58:58 发布
原创 最新推荐文章于 2025-11-08 20:58:58 发布 · 306 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs

本文详细阐述了大数据环境下文件上传过程，涉及NameNode的权限检查、文件切分、DataNode节点分配及数据校验。重点描述了Client与NameNode、DataNodes之间的交互，以及如何确保数据一致性。

在这里插入图片描述

1、跟NameNode通信请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在

2、NameNode返回是否可以上传

3、Client先对文件进行切分，请求第一个block该传输到哪些DataNode服务器上

4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3

5、Client请求3台中的一台DataNode 1上传数据,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端

6、Client开始往DataNode 1上传第一个block，以pocket为单位。写入的时候DataNode会进行数据校验，它并不是通过一个packet进行一次校验而是以chunk为单位进行校验。DataNode 1收到一个packet就会传给DataNode 2，DataNode 2传给DataNode 3，DataNode 1每传一个pocket会放入一个应答队列等待应答

7、当一个block传输完成之后，Client再次请求NameNode上传第二个block的服务器.
21大数据一班于泽

在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
zhaokunwu的专栏
03-09 2万+
异常日志： 2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis
Hadoop文件系统——HDFS读写数据流
时光匆匆独白 的博客
04-08 801
2. HDFS数据流 2.1 文件读取流程剖析（重要） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1a48nDo0-1586279469073)(picture\read.jpg)] public static void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxE...
HDFS socket timeout时间设置
threewaterxzm的博客
06-12 7782
现有问题：HDFS在断网测试时，客户端向datanode写会中断一段时间，是因为有一个socket timeout的时间，过了这个timeout时间之后，客户端才会继续往上写。 在现生产环境中，我们有时候不需要太长的超时时间，此时就需自己手动去设置这个超时时间，通过查看源代码发现，hdfs在DFSClient.java文件中设置了写超时和读超时的时间，代码如下： /** * Return
HBase+HDFS出现的SocketTimeoutException错误
江河万川
08-27 7628
HBase的SocketTimeoutException错误，这个是在HBase子节点中时常报的错误，如图：        但是却没有影响集群运行，在网上搜集了很多资料，一直觉得这也是hdfs端错误造成的，查看hadoop中datanode子节点日志，意外发现这里面时常也会出现：        查看了网上很多说明，最终都归结到dfs.socket.timeout这个配置项中来了
Hadoop源代码的边角料：HDFS的数据通信机制
智障大师 的专栏
03-27 8539
这阵子花了点时间读了读HDFS的源代码。有所得。 不过网上关于Hadoop源代码的解析已经挺多了，所以自称为“边角料”，也就是一些零散的心得和想法。简单而言，HDFS分为了三个部分： NameNode，处于master的地位，维护了数据在DataNode上的分布情况，并且，还要负责一些调度任务； DataNode，存储真实数据的地方； DFSClient，一个client端，通过它提供的接口访问NameNode和DataNode； 三者之间的通信全部是基于TCP/Socket; 如图所示：图中，连
HDFS租约解析
半日闲的博客
03-28 4392
转自：http://bigdatadecode.club/HDFS%E7%A7%9F%E7%BA%A6%E8%A7%A3%E6%9E%90.html 租约(Lease)是一种广泛应用与分布式系统领域的协议，主要用来维护分布式系统的一致性。 租约是在解决缓存一致性时被提出的。所谓租约，其实就是一个合同，即服务器给予客户端在一定期限内可以控制修改操作的权力。如果服务器要修改数据，首先要征求拥有
【Hadoop-HDFS】HDFS读写数据流图解+详细分析，源码解析
一个写湿的程序猿
07-21 3514
第四章 HDFS的读写数据流详细分析 文章目录第四章 HDFS的读写数据流详细分析4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 源码解析4.1.3 网络拓扑-节点距离计算4.1.4 机架感知（副本存储节点选择）4.2 HDFS读数据流程 4.1 HDFS写数据流程 4.1.1 剖析文件写入 （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）
HDFS写数据流程
weixin_45088605的博客
08-24 1462
HDFS写数据流程
Hadoop3：客户端向HDFS写数据流的流程讲解（较枯燥）
Brave_heart4pzj的博客
05-15 548
Hadoop
【4】HDFS 的数据流
01-07
一、HDFS 写数据流程 剖析文件写入 HDFS 写数据流程。 1）客户端通过Distributed FileSystem模块向NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 2）NameNode 返回是否可以上传。 3）...
HDFS的数据流（读和写）
weixin_43520450的博客
04-10 833
一、HDFS写数据流程 1.剖析文件写入 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2...
HDFS写数据过程
galaargl的博客
10-26 2649
1.创建文件请求； 客户端向DistributedFileSystrm发送请求，再由DistributedFileSystrm创建一个输出流叫FSDataOutputStream。HDFS后台会在FSDataOutputStream里面封装DFSOutputStream，DFSOutputStream会专门与数据节点交流进行下一步操作。 2.创建文件元数据； DFSOutputStream执行rpc远程调用去调用名称节点，使名称节点在他的系统命名空间中新建一个文件。 3.写入数据； 流水线的复制方
HDFS的数据流—HDFS写数据流程和HDFS读数据流程
安歌Object
08-14 1242
HDFS写数据流程 一、剖析文件写入 HDFS写数据流程，如图 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件， NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）NameNode返回3个datanode节点，分别为...
第三章 布局
beyond谚语的博客
11-08 1103
WPF 用不同的容器(container)安排布局。每个容器有各自的布局逻辑——有些容器以堆栈方式布置元素，另一些容器在网格中不可见的单元格中排列元素，等等。在 WPF 中非常抵制基于坐标的布局，而是注重创建更灵活的布局，使布局能够适应内容的变化、不同的语言以及名种窗口尺寸。
mamba-ssm-2.2.2-cp310-cp310-win-amd64.whl+安装环境+测试脚本.7z
最新发布
12-15
编译环境： vs2022 win10 x64 anaconda3+python3.10 torch==2.3.1+cu118 cuda11.8.0+cudnn8.9.7 triton==2.1.0 causal_conv1d==1.4.0 mamba==2.2.2 RTX2070显卡 注意编译的whl是不能用于RTX50显卡的，可以用于RTX20-RTX40系列显卡，安装时候尽量和模块一致
toplus1s_calculator_32040_1765656584703.zip
12-15
toplus1s_calculator_32040_1765656584703.zip
【创新无忧】基于多元宇宙优化算法MVO优化相关向量机RVM实现数据多输入单输出回归预测附matlab代码.zip
12-15
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
基于可靠性评估序贯蒙特卡洛模拟法的配电网可靠性评估研究（Matlab代码实现）
12-15
基于可靠性评估序贯蒙特卡洛模拟法的配电网可靠性评估研究（Matlab代码实现）内容概要：本文围绕“基于可靠性评估序贯蒙特卡洛模拟法的配电网可靠性评估研究”，介绍了利用Matlab代码实现配电网可靠性的仿真分析方法。重点采用序贯蒙特卡洛模拟法对配电网进行长时间段的状态抽样与统计，通过模拟系统元件的故障与修复过程，评估配电网的关键可靠性指标，如系统停电频率、停电持续时间、负荷点可靠性等。该方法能够有效处理复杂网络结构与设备时序特性，提升评估精度，适用于含分布式电源、电动汽车等新型负荷接入的现代配电网。文中提供了完整的Matlab实现代码与案例分析，便于复现和扩展应用。; 适合人群：具备电力系统基础知识和Matlab编程能力的高校研究生、科研人员及电力行业技术人员，尤其适合从事配电网规划、运行与可靠性分析相关工作的人员； 使用场景及目标：①掌握序贯蒙特卡洛模拟法在电力系统可靠性评估中的基本原理与实现流程；②学习如何通过Matlab构建配电网仿真模型并进行状态转移模拟；③应用于含新能源接入的复杂配电网可靠性定量评估与优化设计； 阅读建议：建议结合文中提供的Matlab代码逐段调试运行，理解状态抽样、故障判断、修复逻辑及指标统计的具体实现方式，同时可扩展至不同网络结构或加入更多不确定性因素进行深化研究。
Hadoop HDFS 数据流源码分析：DataNode 动态行为剖析
Hadoop源码分析HDFS数据流 **HDFS数据流概述** HDFS（Hadoop Distributed File System）是Hadoop系统中的分布式文件系统，负责存储和管理大规模数据。HDFS数据流是指HDFS中数据的写入、读取和传输过程。了解HDFS...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值