DataNode中block的存放位置和大小

最新推荐文章于 2025-05-24 08:30:00 发布
原创 最新推荐文章于 2025-05-24 08:30:00 发布 · 5.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DateNode #Block #存放位置 #大小

本文介绍了Hadoop分布式文件系统（HDFS）中数据块(Block)的存储机制与位置详情。DataNode作为HDFS的重要组成部分，其如何存储Block以及Block的默认大小设定等内容被详细解释。此外，还探讨了fsimage文件的作用及小文件存储对NameNode内存的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我的DataNode中存放Block的位置是

/usr/local/myHadoop/hadoop-2.6.0/tmp/dfs/data/current/BP-1425842400-192.168.1.101-1451701156704/current/finalized/subdir0/subdir0 


DataNode存储数据的时候，都是以block形式存储。block是DataNode存储数据的基本单位。默认Block的是128MB，这是每个Block的最大大小，而不是每个Block的大小都是128MB。当一个12k的数据存放到Datenode中时，它会占用一个Block中，该block只占用12k的磁盘物理空间。

 

查看fsimage的内容时，发现每个文件都有block对应。fsimage的内容在集群运行时，存放在内存中。

每个文件会产生至少一个block。当小文件非常多的时候，每个文件作为一个对象，元数据的数据量就会很大，耗费内存，造成NameNode内存压力大。所以使用hdfs的时候，尽可能让文件大一些。

 



绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 2727
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
【若泽大数据实战第十一天】HDFS课程 - 副本数 Block Namenode、datanode、、SecondaryNameNode
强悍de巨人
05-20 1847
前言：我把kafka的前置课程写完了，对kafka有了一定的了解，接下去我将把HDFS的课程写的详细一些。1.HDFS进程NameNode（NN）：名称节点  ->   client第一个操作的对象DataNode（DN）：数据节点    --> 存储数据的 Secondary NameNode（SNN）--> 第二名称节点2.block（数据块）block大小：      默认...
强制DataNode向NameNode上报blocks
weixin_34341117的博客
05-19 252
正常情况下，什么时候上报blocks，是由NameNode通过回复心跳响应的方式触发的。 一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，因为两种不同的机型，hdfs-site.xml不便做到相同，导致了Na...
HDFS-Datanode关于block文件的管理
sxf_824的博客
11-20 4534
 数据文件真正存储的地方是在datanode，当用户需要填充文件中某一个block的实际数据内容时，就需要连接到datanode进行实际的block写入操作，下面我们看一下datanode如何管理block，以及如何存储block。Datanode是通过文件存储block数据的，datanode中有一个FSDatasetInterface接口，这个接口的主要作用就是对block对应的实际数
inode 与 block 概念详解
最新发布
x²
05-24 737
inode 与 block 是 Linux 文件系统的基石，理解它们可以更好地掌握文件的存储方式、操作效率、系统限制与潜在风险。通过合理配置与调优，可提升系统的稳定性与性能。
block大小linux,HDFS里Datanode上block大小的设置问题
weixin_33900697的博客
05-09 363
上课时和老师讨论到的一个问题，这里是讨论后记录下来的结果，因为网上也很少查到相关讨论这个话题的内容，所以我也不肯定这是否完全是原因，但经仔细思考，下面的几点确实有其存在的合理性在HDFS里面，data node上的块大小默认是64MB(或者是128MB或256MB)问题: 为什么64MB(或128MB或256MB)是最优选择？为什么不能远少于64MB(或128MB或256MB) (普通文件系统的数...
【HDFS笔记】描述Block和DataNode相关对象整理
sinat_37269729的博客
08-18 736
【HDFS笔记】描述Block和DataNode相关对象整理 注： NN：NameNode DN：DataNode 描述block相关对象 Block是一个数据块，只有一个，它只存在于一个块池中（一个块池对应的是一个命名空间）！他可以对应很多个副本Replica，这些副本分布在不同的DataNode上。 （1）LocatedBlock = ExtendedBlock + 存储ID/存储类型 + 是否所有副本都失效 +【多个】存储这个块的DataNode的信息（DatanodeInfoWithStor
Hadoop3.2.1 【 HDFS 】源码分析 : 如果通过blockId确定物理存储位置
张伯毅的专栏
11-11 5399
一.前言 先说一下Datanode磁盘存储结构,尽管Datanode并不保存HDFS文件和目录的元数据， 但是Datanode还是需要保存一部分Datanode自身的元数据的， 这些元数据是通过Datanode磁盘存储上的一些文件和目录来保存的. Datanode可以定义多个存储目录保存数据块， Datanode的多个存储目录存储的数据块并不相同， 并且不同的存储目录可以是异构的， 这样的设计可以提高数据块IO的吞吐率. [比如多块磁盘.] ■ BP-451827885-192.168.8.156-15
Client在HDFS上进行文件写入时，namenode根据文件大小和配置情况，返回部分datanode信息，谁负责将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块（ ）
03-18
同时，NameNode的职责是管理元数据，比如记录哪个Block存放在哪些DataNode上，而DataNode则负责实际存储和处理读写请求。客户端在这个过程中负责文件的切分、与NameNode通信获取元数据，以及直接与DataNode交互传输...
DataNode引用计数磁盘选择策略
走在前往架构师的路上
01-17 5231
前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节点,这么多块盘,HDFS在进行写操作时如何进行有效的磁盘选择呢,选择不当必然造成写性能下降,从而影响集群整体的性能.本文来讨论一下目前HDFS中存在的几个磁盘选择策略的特点和不足,然后针对
Hadoop2.8.5 数据节点 DataNode
Sherlock的博客
01-30 1126
数据节点 DataNode 在 HDFS 文件系统中处于从属的地位, 但是其结构却比处于主导地位的查名节点 NameNode 更复杂。这是因为:虽然 NameNode 起着目录的作用,但是文件的内容却是存储在 DataNode 上的,读写文件时一旦知道了哪一个块在什么节点上,或者指定存放在什么节点上,下面就不需要 NameNode 的介入了。而块的存取,却是颇为复杂的操作。再说 NameNode ...
Hadoop中HDFS的存储机制
热门推荐
殇沫流年的专栏
06-29 1万+
Hadoop中HDFS的存储机制 HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念，然后介绍HDFS中读写操作的过程，最后分析了HDFS的优缺点。 1. HDFS中的基础概念   Block：HDFS中的存储单元是每个数据块
HDFS中datanode节点block损坏后的自动恢复过程
mnasd的博客
08-28 5046
相关参数说明 dfs.blockreport.intervalMsec ：datanode向namenode报告块信息的时间间隔，默认6小时 datanode日志中记录如下： dfs.datanode.directoryscan.interval：datanode进行内存和磁盘数据集块校验，更新内存中的信息和磁盘中信息的不一致情况，默认6小时 datanode日志中记录如下：  ...
HDFS Datanode多目录配置 Block块手动拼接成为完整数据
11-08 9461
Datanode多目录配置 datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。具体配置如下： cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop <!-- 定义dataNode数据存储的节点位置，实际工作中， 一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property&...
HDFS默认块的大小和份数
one-way or another
04-29 8192
HDFS默认Block Size 64MB，block默认保存3份。 HDFS被设计成支持大文件，适用HDFS的是那些需要处理大规模的数据集的应用。这些应用都是只写入数据一次，但却读取一次或多次，并且读取速度应能满足流式读取的需要。HDFS支持文件的“一次写入多次读取”语义。一个大文件会被拆分成一个个的块(block)，然后存储于不同的DataNode上。如果一个文件小于一个block的大小，那么...
hadoop 3.0 datanode 二级subdir一个目录最多可以存储多少个块？
qq_38820154的博客
01-16 1561
通过blockId 算出 subdir 目录 现在找blockId long blockId =1024L * 1024 * 1024; System.out.println(blockId); blockId+=256; System.out.println(blockId); int d1 = (int) ((...
调整hadoop 集群datanode 物理内容大小
zhoujj303030的专栏
08-08 3810
hadoop几圈搭建好以后发现各个datanode节点上的物理内容显示是8G的。 在网上查了一下发现
Hadoop统计所有block的个数
qq_36732299的博客
04-19 1565
block的总块数 fsck命令里面包含HDFS中的基本信息。 hadoop fsck / | grep 'Total blocks' | awk '{print $4}' HDFS元数据的总条数 位置在nn/current cat fsimage_0000000004473734258 | wc -l
DataNode：本地数据管理与协作机制详解
在数据块的实际操作中，如复制、验证和更新元数据，DataNode使用了类似`blk_3148782637964391313`这样的标识符，并生成相应的meta文件（如`blk_3148782637964391313_242812.meta`），这些元数据记录了块的状态、位置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值