大数据学习hdfs详解2(write )

最新推荐文章于 2025-07-19 23:39:55 发布
原创 最新推荐文章于 2025-07-19 23:39:55 发布 · 614 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了HDFS中文件写入的过程。从客户端通过FileSystem.create()与NameNode通信检查文件是否存在开始，如果不存在则创建文件并返回FSDataOutputStream。接着，客户端利用write()方法逐块写入数据，每个块会复制到多个DataNode，并通过ack packet确认副本完成。最后，文件写入完成后，客户端关闭输出流并通知NameNode文件写入成功。

写流程

  • hdfs dfs -ls / hdfs文件系统的根目录,而不是Linux
  • hdfs dfs -ls hdfs://hadoop001:9000/
    hdfs://hadoop002:9000 来自core-site.xml中的配置
    hdfs dfs -ls 读取当前命令操作的用户的路径 /user/用户/
    执行hdfs dfs -ls是在hadoop用户下操作的
    执行hdfs dfs -ls /user/hadoop检查


hdfs dfs -put NOTICE.txt /

1. Client（客户端）调用FileSystem.create(filePath),去与NN节点进行RPC通信，check该路径下的文件是否已经存在？

是否有权限创建该文件？

  • 假如OK，就创建一个新的文件，但是不关联任何的block，返回一个FSDataOutputStream对象；
最低0.47元/天 解锁文章
大数据领域HDFS与Kafka的数据交互
AI开发架构师
08-27 796
在当今数据驱动的世界中，企业面临着双重挑战：如何高效存储海量历史数据，以及如何实时处理源源不断的流数据。HDFS作为大数据存储的基石，为我们提供了可靠的"数据仓库"；而Kafka则作为高性能的"数据传送带"，实现了实时数据流的高效传递。本文将深入探讨这两大技术如何无缝协作，构建一个既能存储海量数据又能支持实时分析的现代数据架构。我们将从基础概念出发，通过生活化的比喻和详实的代码示例，揭示HDFS与Kafka数据交互的核心原理、实现方式及最佳实践。
大数据领域 HDFS 数据加密的实现与优化
最新发布
软件工程实践的博客
10-02 923
随着企业级大数据平台承载的敏感数据（用户隐私、交易记录、医疗档案等）持续增长，HDFS作为分布式存储的核心组件，其数据安全防护能力成为关键技术诉求。传输层加密（SSL/TLS）与存储层加密（透明加密）的协同机制密钥管理系统（KMS）与HDFS的集成架构加密算法性能优化与数据分块策略的结合行业合规性（GDPR、HIPAA、等保2.0）对加密方案的特殊要求核心概念篇：剖析HDFS加密体系架构与核心术语技术实现篇：详解加密算法、数学模型、代码实现工程实践篇：涵盖开发环境、实战案例、性能调优。
Hadoop分布式文件系统——HDFS的读写
Napoleon的专栏
01-22 2173
HDFS是运行在通用硬件平台上的可容错分布式文件系统。它优化了大文件的流式读取模式，适用于那些高吞吐并且对延迟性要求相对比较低的场景。它还通过文件“一次写入，多次读取”的简单策略保证了数据的一致性。HDFS亦使用了“块复制”的概念，让数据在集群的节点间进行复制，每个数据块复制的份数由“复制因子”决定。         HDFS包含三个服务：                 A、NameNode：
源码解析HDFS文件上传之write上传过程-尚硅谷Java培训
zjjcchina的博客
07-26 303
/接收到notify消息。//步骤二启动ResponseProcessor用来监听packet发送是否成功。//步骤三从dataQueue把要发送的这个packet移除出去。//步骤二启动ResponseProcessor用来监听packet发送是否成功。//步骤三从dataQueue把要发送的这个packet移除出去。//如果dataQueue里面没有数据，代码会阻塞在这儿。//记录写入packet中的chunk个数，累计到127个chuck，这个packet就满了。...
DataX系列8-HdfsWriter介绍
只是甲的博客
12-17 8094
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 defaultFS3.2.2 fileType3.2.3 path3.2.4 fileName3.2.5 column3.2.6 writeMode3.2.7 fieldDelimiter3.2.8 compress3.2.9 hadoopConfig3.2.10 encoding3.2.11 haveKerberos3.2.12 kerberosKeytabFilePath3.2.13 kerberosPrin
HDFS执行机制之Write
白鸽
11-08 498
此时，我们的packet已经进入了dataQueue, 而DataStreamer的run(),就算等待着dataQueue的数据，DataStreamer拿取到数据之后，将数据发送给DataNote
hadoop源码 - HDFS write流程分析(Hadoop2.0)
Mrknowledge
04-30 1789
Write操作是HDFS最基本的操作之一，一般是先create一个文件然后write内容。这篇文章主要讲用户调用FileSystem APT向HDFS写入数据时，HDFS是怎么工作的。 1，client发起create请求。 通过DistributedFileSystem.create()方法创建文件，其实就是通过DistributedFileSystem内部wrapper的DFSClient
大数据领域 HDFS 与云存储的融合应用
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-19 1018
本文旨在为技术决策者和架构师提供HDFS与云存储融合的全面指南，涵盖技术原理、实现方案和最佳实践。HDFS与云存储的架构对比混合存储方案的设计模式数据迁移和同步策略性能优化和成本管理文章首先对比HDFS与云存储的核心特性，然后深入分析融合架构的技术实现，接着通过实际案例展示应用场景，最后讨论未来发展趋势。HDFS：Hadoop Distributed File System，Hadoop生态系统中的分布式文件存储系统对象存储。
解析大数据领域 HDFS 的块缓存机制
大数据洞察的博客
05-13 1151
HDFS作为大数据处理的核心存储系统，其块缓存机制是提升数据访问性能的关键技术。揭示HDFS块缓存的底层架构和工作原理解析缓存管理策略（如LRU、LFU）的实现细节演示如何通过配置和编程接口优化缓存性能分析缓存机制对数据本地化和吞吐量的影响全文覆盖从理论模型到工程实践的完整技术栈，适用于大数据开发者、HDFS运维人员及分布式系统研究者。背景介绍：明确目标、读者和核心术语核心概念与联系：解析HDFS架构与块缓存的关系核心算法原理：详解缓存替换策略及实现数学模型与公式：量化缓存性能指标。
HDFS的Write过程
weixin_30887919的博客
01-10 337
hadoop中重要的组成部分HDFS，它所发挥的重要作用是进行文件的后端存储。HDFS针对的是低端的服务器，场景为读操作多、写操作少的情况。在分布式存储情况下，比较容易出现的情况是数据的损害，为了保证数据的可靠和完整，实现了数据的检验和（checksum）和多副本放置策略等措施。在HDFS中采用比较多的是CRC（循环冗余校验码）的检验和方式。HDFS是一种基于块的分布式文件系统，其他...
java WriteHDFS实现，hadoop应用
06-05
java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用java WriteHDFS实现，hadoop应用
HDFS文件操作
热门推荐
chenxiaochen32的专栏
04-05 1万+
HDFS是一种文件系统，存储着Hadoop应用将要处理的数据，类似于普通的Unix和linux文件系统，不同的是他是实现了google的GFS文件系统的思想，是适用于大规模分布式数据处理相关应用的、可扩展的分布式文件系统。它有以下优点： 1、在分布式存储中，经常会出现节点失效的情况，HDFS可以持续监视，错误检查，容错处理，自动恢复； 2、分布式存储的文件都是非常巨大的，HDFS重新规定了每次
3. EC HDFS WRITE调试篇
王小禾
12-20 713
普通文件流使用的是DFSOutputStream，EC文件使用的流式DFSStripedOutputStream： public class DFSStripedOutputStream extends DFSOutputStream implements StreamCapabilities {...} 在FSOutputSummer构造器中加断点，得到调用栈： "main@1" pr...
HDFS 读写文件
方法属性类，一个都不会
07-31 463
HDFS 读文件 1）客户端显式调用 open()函数打开文件。 2）后台通过 RPC 调用 NN服务，获取欲打开文件的文件块信息和文件所 在的数据节点。 3）客户端显式调用 read()函数，从第一个数据块开始读取数据，并选择离 客户端最近的那个副本。 4）选择离客户端最近的副本后，客户端直接从 DN读取数据。 5）当前数据块读完后继续连接此文件下一个数据块最近副本所在的 DN。 6）读完数据时，客户端显式调用 close()函数。相对于读取本地文件系统数 据，HDFS 读取数据流程较复杂，但对.
HDFS读写流程
syso_alt_hao的博客
09-11 594
HDFS读写流程 一: HDFS读文件流程     1：Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象;    2：Client调用FSDataInputStream对象的
HDFS文件的读写和关闭流
To_the_East的博客
10-26 1828
一、读取HDFS文件 public class ReadHdfsFileUtil { //添加日志输出能力 Logger log = Logger.getLogger(ReadHdfsFileUtil.class); //加载配置文件到内存对象 static Configuration conf = new Configuration(); //读取HDFS文件内容 public...
HDFS 写入过程分析
努力吧闫小胖的博客
09-10 382
HDFS 写入流程 过程 Client 通过调用 FileSystem 的 create()方法来请求创建文件 FileSystem 通过对 NameNode 发出远程请求，在 NameNode 里面创建一个新的文件，但此时并不关联任何的块。 NameNode 进行很多检查来保证不存在要创建的文件已经存在于文件系统中，同时检查是否有相应的权限来创建文件。如果这些检查都完成了，那么Name...
hadoop2.x-hdfs写流程
program哲学
06-18 574
写流程 1.客户端通过调用DistributedFileSystem的create方法创建新文件 2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前，namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，namenode就会记录下新文件，否则就会抛出IO异常. 3.前两步结束后会返回FSD...
HDFS Read and Write Mechenism
sunfect的博客
01-01 466
默认情况下HDFS将一份数据复制3份，分别存储在不同的Region Server上，具体复制多少份，可以在hdfs-site.xml配置文件中进行修改。 <property> <name>dfs.replication</name> <value>3</value> </property> HDFS Block Rep...
hdfs详解
04-19
HDFS（Hadoop Distributed File System）是一种专为大数据存储和处理而设计的分布式文件系统[^2]。它是Hadoop生态系统的核心组件之一，旨在解决海量数据的可靠存储和高效访问问题。 #### HDFS的设计目标 HDFS的主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值