在看hdfs时,经常会碰到block,packet,chunk等概念,下面做个简要介绍:
block是最大的,默认为:"fs.local.block.size", 32 * 1024 * 1024=32m
packet其次, 默认为:"dfs.write.packet.size", 64*1024=64k
chunksize 默认为:"io.bytes.per.checksum"=512Byte
block是最大的,默认为:"fs.local.block.size", 32 * 1024 * 1024=32m
packet其次, 默认为:"dfs.write.packet.size", 64*1024=64k
chunksize 默认为:"io.bytes.per.checksum"=512Byte
本文介绍了HDFS中关键概念:block、packet与chunk的大小及其默认配置。block为最大单位,默认32M;packet次之,默认64K;chunksize默认512Byte。这些单位在HDFS文件存储及传输过程中扮演重要角色。
2887

被折叠的 条评论
为什么被折叠?



