[hadoop] hdfs的block块大小为什么是128MB

最新推荐文章于 2025-09-09 08:50:22 发布
原创 最新推荐文章于 2025-09-09 08:50:22 发布 · 2.8k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #block #128MB

本文探讨了HDFS中文件块大小的设定原则，指出块大小主要受磁盘传输速率影响，并提供了不同存储介质下推荐的块大小，如128MB、512MB及2048MB。

block块大小的设置:
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。

为什么是128MB:
block块的大小主要取决于磁盘传输速率.
一般hdfs的寻址时间为10ms左右.
当寻址时间为传输时间的1%时为最佳状态,因此传输时间大概在1s左右.
机械硬盘文件顺序读写的速度为100MB/s,普通固态为500MB/s,pcie固态的速度可以达到2000MB/s,因此块的大小可以分别设为128MB,512MB,2048MB.

重申一遍:
block块的大小主要取决于磁盘传输速率.

HDFS块大小为何是128MB ? block.size
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-27 1940
块大小取决于dfs.blocksize，2.x默认为128M，1.x默认为64M（128M指的是块的最大大小！每个块最多存储128M的数据，如果当前块存储的数据不满128M，存了多少数据，就占用多少的磁盘空间！一个块只属于一个文件！）   默认为128M的原因，基于最佳传输损耗理论！   不论对磁盘的文件进行读还是写，都需要先进行寻址！   最佳传输损耗理论：在一次传输中，寻址时间占用总传输时间的1%时，本次传输的损耗最小，为最佳性价比传输！   目前硬件的发展条件，普通磁盘写的速率大概为100M/
Hadoop入门三(3.2.2版本)
一盏小灯的博客
12-12 1388
一.block块的概念 Block块大小的默认参数：dfs.blocksize 默认128M 理解一： 假如一桶水1000 ml， 瓶子规格 100ml ==》 需要10瓶子 一桶水1010 ml， 瓶子规格 100ml ==》 需要10+1=11瓶子 假如瓶子规格200ml ==》需要 5+1 =6瓶子 理解二： 假如一个小电影260M，根据block块大小的默认参数dfs.blocksize分为： 第一个块128M；第二个块128M；第三个块 4M。...
Hadoop--HDFS详解（二）
qq_41301707的博客
12-02 876
Hadoop--HDFS详解（二） 前言： HDFS详解（一）：https://blog.youkuaiyun.com/qq_41301707/article/details/84780505 已经把HDFS的基础介绍完了，这里主要是把一些HDFS里面比较重点的一些东西记录一下 一.block 介绍：HDFS会将文件分割成block，每个...
Hadoop：为什么集群默认块大小是128MB
小赵的呢
10-30 3026
今天在学习MapReduce中FileInuptFormat对文件切片的源码时，发现一个问题在本地windows运行时默认Block大小是32MB在集群上是128MB，突然联想到在HDFS中的块大小也是128MB block块大小的设置: HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 为什么是128MB: block块的大小主要取决于磁盘传输速率. 一般hdfs的寻址时间为1
为什么HDFS文件块（block）大小设定为128M解析.
张伯毅的专栏
10-11 1万+
Table of Contents 一.前言 二. block 大小设置原则：最小化寻址开销,减少网络传输. 三、为什么HDFS中块（block）不能设置太大，也不能设置太小？ 四、 HDFS中块（block）的大小为什么设置为128M？ 一.前言 HDFS中存储数据是以块（block，这只是一个逻辑概念）的形式存储在DataNode，block大小可通过设置HADOOP_HOME/etc/hadoop/hdfs-site.xml中dfs.blocksize实现（设置时先stop集群，修改.
性能优化 之 HDFS 块大小调整（默认 128MB）、副本数优化
最新发布
u012024132的专栏
09-09 552
HDFS 将大文件切分成固定大小的数据块（Block），这些块是分布式存储和复制的基本单位。
hdfs为什么不适合存储小文件？block块为什么设置为128MB?
qq_42639540的博客
06-02 1893
hdfs为什么不适合存储小文件？ 小文件多小？一般小于128mb 1、小文件过多，会过多占用namenode的内存，并浪费block。 文件的元数据（包括文件被分成了哪些blocks，每个block存储在哪些服务器的哪个block块上），都是存储在namenode上的。 HDFS的每个文件、目录、数据块占用150B，因此300M内存情况下，只能存储不超过300M/150=2M个文件/目录/数据块的元数据 dataNode会向NameNode发送两种类型的报告：增量报告和全量报告。 增量报告是当dataN
修改Hadoop的HDFS块大小
Paladin的专栏
02-13 7247
1 修改HDFS块大小 通过访问web页面查看目前HDFS的大小，默认是64M。     2 设置每个namenode节点和datanode节点的hdfs-site.xml文件，将文件中 的dfs.block.size属性值改为33554432（32M）单位大小为比特（B），重启集群 dfs.block.size 33554432     可以看到新添加
深入理解Hadoop HDFS高级教程.txt打包整理.zip
03-05
4. 文件块与副本策略：HDFS中的文件被分割成固定大小的块，默认为128MB。每个块会复制多份，通常默认为3份，分布在不同节点上，以提高容错性。副本策略根据网络拓扑和节点状态动态调整。 5. HDFS操作：用户可以通过...
Hadoop-2.4.0中HDFS文件块大小默认为128M
热门推荐
一见
04-19 1万+
134217728 / 1024 = 131072 / 1024 = 128
HDFS的Block块为什么设置为128M
weixin_38023225的博客
09-06 677
这个主要是磁盘寻址时间和数据传输时间决定的。 目前，我们磁盘普遍寻址时间是10ms,磁盘的传输速率普遍为100MB/s 通过验证，当磁盘寻址时间为数据传输时间的1%的时候，状态是最佳的。 通过计算最佳传输时间=10ms/0.01=1s,进一步计算出Block块大小=1s*100MB=100MB,而我们磁盘block块的大小都是2^n倍 所以最合适的大小就是128MB. ...
HDFS块大小默认为什么是64MB(或者是128MB）
JacksonKing的专栏
05-07 5073
HDFS块大小默认为什么是64MB(或者是128MB） 1 HDFS的设计特点？ 可以进行超大文件存储 对商用硬件要求不高 式数据访问：适合一次写入，多次读出的场景，适合用来做数据分析，并不适合用来做网盘应用等文件系统。 HDFS只支持单个写入者，而且文件的写入只能以“添加”方式在文件末尾写数据。 因为namenode的原因，不适合大量小文件的存储。 数据访问的延迟相对较高，不适合进行...
为什么HDFS文件块（block）大小设定为128M
行走的树
12-13 6516
我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现； 在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M； 寻址时间：HDFS中找到目标文件块（block）所需要的时间。 原理： 文件块越大，寻址时间越短，但磁盘传输时间越长； 文件块越小，寻址时间越长，但磁盘传输时间越短。 一、为什么HDFS中块（block）不能设置太大，也不能设置太小？ 如果块设置过大， 一方面，从磁盘传输数
dfs.blocksize配置原理
SparkSnail
10-22 2675
dfs.blocksize配置原理 Hdfs存储的块大小，可以根据dfs.blocksize进行配置。 根据最佳传输消耗理论，一次传输中寻址时间为总传输时间的1%为最佳状态。 一般机器磁盘寻址时间为10ms，一次写入数据总传输时间为10ms % 1% = 1000ms 一次写入数据最佳大小则为 1000ms * 磁盘写入速度 如果磁盘的写入速度是100M/S， 块最佳大小为 1000ms * 100M/S = 100M， 可以设置dfs.blocksize=128M 如果磁盘的写入速度是300M/S， 块最
HDFS中block的大小
qq_46416934的博客
08-30 1561
HDFS中寻址时间一般为10ms，则传输时间最好为10ms/1%=1000ms=1s，而当前普通的机械硬盘的传输速度为100M/s左右，所以为了达到最佳状态，每个地址的数据大小最好为1s*100M/s=100M。如果block过大，传输时间的%1会明显大于寻址时间，导致寻址时间与传输时间不平衡，另外InputFormat的默认切片规则会以block的大小确定切片的大小，block越大，切片就会越大，Map过程会变得缓慢。由此每个block大的大小默认设置为128M。...
Hadoop--HDFS文件块大小
weixin_44976835的博客
03-26 2912
HDFS中的文件在物理上是分块（Block）存储的，块的大小是可以通过配置参数（dfs.blocksize）来规定的。一个文件块的默认大小是128M。 块大小的计算 如果寻址时间为10ms，即查找到目标block的时间为10ms 寻址时间为传输时间的1%，则为最佳状态。 因此传输时间=10ms/0.01=1000ms=1s 而目前磁盘传输速率普遍为100M/s 所以block大小为：1s*100M/S=100M 所以一般企业内定义的块大小为128M（机械硬盘）或256M（固态硬盘） 块大小的设置 为什么
hadoop1.x：hdfs
lvhuiyin的博客
05-08 574
HDFS：Hadoop Distributed File System 分布式存储系统，提供了高可靠、高扩展性和高吞吐率的数据存储服务 HDFS优点： 1.高容错性：数据自动保存多个副本；副本丢失后，自动恢复 2.适合批处理：移动计算而非数据，数据位置暴露给计算框架 3.适合大数据处理 4.可构建在廉价的机器上：通过多副本提高可靠性；提供了容错和恢复机制 HDFS缺点
hadoop的调优参数，性能优化
ZHANG：X
07-25 2192
~~ Hadoop性能调优，性能优化 ~~ 核心答案讲解： Hadoop参数调优 一、 hdfs-site.xml 配置文件 1、 dfs.blocksize 参数：hadoop文件块大小 描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。 可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)...
HDFS Block块大小限定依据及原则
GSpinach的博客
08-17 1万+
@Author : Spinach | GHB @Link : http://blog.youkuaiyun.com/bocai8058 文章目录前言 前言
Hadoop HDFS工作原理：Block与NameNode解析
在HDFS中，文件被分割成固定大小的块，通常每个块的大小为64MB，这是为了优化数据传输和处理效率。 文件块的存储是分布式进行的，每个块通常有多个副本，分布在不同的DataNode上。这样做的目的是在某个DataNode故障...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值