HDFS Read and Write Mechenism

HDFS数据复制机制解析
最新推荐文章于 2022-03-24 19:40:15 发布
原创 最新推荐文章于 2022-03-24 19:40:15 发布 · 450 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS #Hadoop

本文深入探讨了HDFS默认的数据复制策略，解释了为何每份数据会被复制3份，并分布在不同的RegionServer上。此外，还介绍了如何在hdfs-site.xml配置文件中调整数据复制份数。

默认情况下HDFS将一份数据复制3份，分别存储在不同的Region Server上，具体复制多少份，可以在hdfs-site.xml配置文件中进行修改。

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

  1. HDFS Block Replication
    在这里插入图片描述

  2. HDFS Write Mechanism
    在这里插入图片描述
    在这里插入图片描述

  3. HDFS Read Architecture
    在这里插入图片描述

【HDFS】简要了解HDFS的预读（read-ahead）机制
LifeIsGood
04-02 4405
【HDFS】简要了解HDFS的预读（read-ahead）机制
Hadoop分布式文件系统——HDFS的读写
Napoleon的专栏
01-22 2160
HDFS是运行在通用硬件平台上的可容错分布式文件系统。它优化了大文件的流式读取模式，适用于那些高吞吐并且对延迟性要求相对比较低的场景。它还通过文件“一次写入，多次读取”的简单策略保证了数据的一致性。HDFS亦使用了“块复制”的概念，让数据在集群的节点间进行复制，每个数据块复制的份数由“复制因子”决定。         HDFS包含三个服务：                 A、NameNode：
HDFS read and write
cjl969911737的博客
03-13 418
import java.io.OutputStream; import java.net.URI; import java.ne...
HDFS的读写流程
CyAurora的博客
07-17 535
1. 读流程的详解 读操作： - hdfs dfs -get /file02 ./file02 - hdfs dfs -copyToLocal /file02 ./file02 - FSDataInputStream fsis = fs.open("/input/a.txt"); - fsis.read(byte[] a) - fs.copyToLocal(path1,path2) 官网图如下： ...
hadoop源码 - HDFS write流程分析(Hadoop2.0)
Mrknowledge
04-30 1786
Write操作是HDFS最基本的操作之一，一般是先create一个文件然后write内容。这篇文章主要讲用户调用FileSystem APT向HDFS写入数据时，HDFS是怎么工作的。 1，client发起create请求。 通过DistributedFileSystem.create()方法创建文件，其实就是通过DistributedFileSystem内部wrapper的DFSClient
HDFS执行机制之Write
白鸽
11-08 496
此时，我们的packet已经进入了dataQueue, 而DataStreamer的run(),就算等待着dataQueue的数据，DataStreamer拿取到数据之后，将数据发送给DataNote
HDFS的Write过程
weixin_30887919的博客
01-10 333
hadoop中重要的组成部分HDFS，它所发挥的重要作用是进行文件的后端存储。HDFS针对的是低端的服务器，场景为读操作多、写操作少的情况。在分布式存储情况下，比较容易出现的情况是数据的损害，为了保证数据的可靠和完整，实现了数据的检验和（checksum）和多副本放置策略等措施。在HDFS中采用比较多的是CRC（循环冗余校验码）的检验和方式。HDFS是一种基于块的分布式文件系统，其他...
HDFS Standby NameNode Read功能剖析
走在前往架构师的路上
02-06 2091
文章目录前言HDFS Standby Read的背景及功能要求Standby NameNode一致性读的控制实现原理分析代码分析流程分析图参考链接 前言 HDFS有着一套十分成熟的HA的机制来保证其服务的高可用性。在HA模式下，分别对应有Active和Standby NameNode的服务。Active NameNode用于提供对外数据服务，而Standby NameNode则负责做checkpoint的工作以及随时准备接替变成Active NameNode的角色，假设说当前Active NameNode
[DN优化] [锁优化] [HDFS-15150] Introduce read write lock to Datanode
王小禾
03-24 2045
分析 背景：DN性能优化的一部分 目标：AutoCloseableLock 改为 ReadWriteLock 知识回顾：假设在程序中定义一个共享的数据结构，它大部分时间提供读服务，而写操作占有的时间很少，但是写操作完成之后的更新需要对后续的读服务可见。在没有写操作的时候，两个线程同时读一个资源没有任何问题，所以应该允许多个线程能在同时读取共享资源。但是如果有一个线程想去写这些共享资源，就不应该再有其它线程对该资源进行读或写（也就是说：读-读能共存，读-写不能共存，写-写不能共存）。这就需要一个读/写锁来解决
HDFS文件读取和写入
heishu007的博客
06-21 5154
读取文件： 一：读取方式一 写入哪个DataNode是不确定的，主要寻找读取速度较快的DataNode； 怎么找到这种DataNode，从以下几个方面：是否有本机位置，本机架位置，本机房位置； 依次重试读取文件，直到读取文件成功； 二：读取方式二：backUpRead 每次读取时，client会并行试着读取两个或三个DataNode，接受读取成功信息后，会通知其他魏都区的D
[DN优化] [锁优化][HDFS-15160] ReplicaMap, Disk Balancer and others use datanode readlock
王小禾
03-24 922
背景 现在我们已经引入了HDFS-15150，我们可以开始改进一些DN操作来使用读锁而不是写入锁来提高并发。 第一步是对Replicamap进行更改 ReplicaMap：一些方法会调用replicmap .replicas()(例如getBlockReports, getFinalizedBlocks, deepCopyReplica)，并且只以只读方式使用，所以它们也可以切换到使用readLock。 接下来是目录扫描仪和磁盘均衡器，只需要读锁。 Disk Balancer, Directory S
Hadoop学习笔记之四：HDFS客户端
weixin_30700977的博客
08-12 157
HDFS的客户端核心是DFSClient类，所有使用HDFS的客户端都会持有一个DFSClient对象，或通过持有一个DistributedFileSystem对象间接使用DFSClient；DFSClient通过ClientProtocol向NameNode进行元数据请求；当需要进行数据请求时，DFSClient会通过访问的类型（读、写）分别构造DFSInputStream、DFSOutpu...
HDFS 读写文件
方法属性类，一个都不会
07-31 461
HDFS 读文件 1）客户端显式调用 open()函数打开文件。 2）后台通过 RPC 调用 NN服务，获取欲打开文件的文件块信息和文件所 在的数据节点。 3）客户端显式调用 read()函数，从第一个数据块开始读取数据，并选择离 客户端最近的那个副本。 4）选择离客户端最近的副本后，客户端直接从 DN读取数据。 5）当前数据块读完后继续连接此文件下一个数据块最近副本所在的 DN。 6）读完数据时，客户端显式调用 close()函数。相对于读取本地文件系统数 据，HDFS 读取数据流程较复杂，但对.
HDFS读写流程
syso_alt_hao的博客
09-11 589
HDFS读写流程 一: HDFS读文件流程     1：Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象;    2：Client调用FSDataInputStream对象的
大数据学习hdfs详解2(write )
louiezhang1215的博客
10-27 612
写流程 hdfs dfs -ls / hdfs文件系统的根目录,而不是Linux hdfs dfs -ls hdfs://hadoop001:9000/ hdfs://hadoop002:9000 来自core-site.xml中的配置 hdfs dfs -ls 读取当前命令操作的用户的路径 /user/用户/ 执行hdfs dfs -...
HDFS文件的读写和关闭流
To_the_East的博客
10-26 1822
一、读取HDFS文件 public class ReadHdfsFileUtil { //添加日志输出能力 Logger log = Logger.getLogger(ReadHdfsFileUtil.class); //加载配置文件到内存对象 static Configuration conf = new Configuration(); //读取HDFS文件内容 public...
3. EC HDFS WRITE调试篇
王小禾
12-20 711
普通文件流使用的是DFSOutputStream，EC文件使用的流式DFSStripedOutputStream： public class DFSStripedOutputStream extends DFSOutputStream implements StreamCapabilities {...} 在FSOutputSummer构造器中加断点，得到调用栈： "main@1" pr...
DataX系列8-HdfsWriter介绍
只是甲的博客
12-17 8086
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 defaultFS3.2.2 fileType3.2.3 path3.2.4 fileName3.2.5 column3.2.6 writeMode3.2.7 fieldDelimiter3.2.8 compress3.2.9 hadoopConfig3.2.10 encoding3.2.11 haveKerberos3.2.12 kerberosKeytabFilePath3.2.13 kerberosPrin
HDFS 写入过程分析
努力吧闫小胖的博客
09-10 379
HDFS 写入流程 过程 Client 通过调用 FileSystem 的 create()方法来请求创建文件 FileSystem 通过对 NameNode 发出远程请求，在 NameNode 里面创建一个新的文件，但此时并不关联任何的块。 NameNode 进行很多检查来保证不存在要创建的文件已经存在于文件系统中，同时检查是否有相应的权限来创建文件。如果这些检查都完成了，那么Name...
HDFS写入数据流create write close
最新发布
11-04
以下是一个使用Java API实现HDFS写入数据流中`create`、`write`、`close`操作的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache....
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值