怎么改变HDFS块大小

Hadoop文件上传与配置

最新推荐文章于 2023-07-06 16:12:15 发布

转载最新推荐文章于 2023-07-06 16:12:15 发布 · 281 阅读

hdfs 专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍如何在Hadoop中上传文件，查看文件大小，并通过修改hdfs-site.xml配置文件来调整全局参数dfs.block.size，以改变文件块大小。演示了上传前后的文件大小对比。

转载自https://blog.youkuaiyun.com/u010230476/article/details/40475767

1.上传test1.txt
[hadoop@Master hadoop]$ hadoop fs -put /home/hadoop/input/test1.txt /usr/hadoop/in
Warning: $HADOOP_HOME is deprecated.

2.查看上传的文件大小

[hadoop@Master hadoop]$ hadoop fs -stat "%o" /usr/hadoop/in/test1.txt
Warning: $HADOOP_HOME is deprecated.

67108864

3.修改hdfs-site.xml配置文件，增加全局参数dfs.block.size

        <property>
                 <name>dfs.block.size</name>
                 <value>512000</value>
         </property>

注意：blockSize必须是io.bytes.per.checksum的整数倍，否则会报错

put: io.bytes.per.checksum(512) and blockSize(100000) do not match. blockSize should be a multiple of io.bytes.per.checksum

4.再上传test1.txt文件

[hadoop@Master bin]$ hadoop fs -put /home/hadoop/input/test1.txt /usr/hadoop/in/test1000.txt

5.查看test1000.txt文件大小

[hadoop@Master bin]$ hadoop fs -stat "%o" /usr/hadoop/in/test1000.txt
Warning: $HADOOP_HOME is deprecated.

512000

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

狂躁的辣条

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HDFS块大小为何是128MB ? block.size

Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发

01-27

1813

块大小取决于dfs.blocksize，2.x默认为128M，1.x默认为64M（128M指的是块的最大大小！每个块最多存储128M的数据，如果当前块存储的数据不满128M，存了多少数据，就占用多少的磁盘空间！一个块只属于一个文件！）默认为128M的原因，基于最佳传输损耗理论！不论对磁盘的文件进行读还是写，都需要先进行寻址！最佳传输损耗理论：在一次传输中，寻址时间占用总传输时间的1%时，本次传输的损耗最小，为最佳性价比传输！目前硬件的发展条件，普通磁盘写的速率大概为100M/

【HDFS】HDFS文件块大小（重点）

qq_37472274的博客

12-29

1590

大数据基础知识学习

参与评论您还未登录，请先登录后发表或查看评论

【hadoop】linux下hadoop dfs命令

开发随笔-猫咪酱

05-07

781

hdfs dfs、hadoop fs、hadoop dfs三个命令的区别：在介绍命令之前，首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。 hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等。 hadoop dfs：特定针对HDFS的文件系统的相关操作，但是已经不推...

HDFS中block块的放置策略、HDFS读写文件的流程、HDFS常用的命令

weixin_43681796的博客

03-31

1194

6、Block放置策略 – 第一个副本：集群内部提交放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 – 第二个副本：放置在于第一个副本不同的机架的节点上。 – 第三个副本：与第二个副本相同机架的不同节点。 – 更多副本：随机节点，不重复的 7、请描述一下HDFS的读、写流程（具体说一下ack）读的流程 1.首先调用file...

hadoop修改HDFS默认块大小的配置

热门推荐

飘羽的博客

01-22

1万+

首先叙述一下： 1.hadoop1.x的HDFS默认块大小为64MB；hadoop2.x的默认块大小为128MB。如果进行数据块的自定义需要修改hdfs-site.xml文件，例如： property> name>dfs.blocksizename> value>30mvalue> property> property> name>dfs.name

Hadoop如何修改HDFS文件存储块大小

weixin_30634661的博客

04-10

271

一、临时修改可以在执行上传文件命令时，显示地指定存储的块大小。1. 查看当前 HDFS文件块大小我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz 文件存储块大小。1.1 终端命令方式查看[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz5120...

Hadoop用户必读：HDFS块大小调整的权威指南

HDFS块大小概念与重要性在分布式存储系统Hadoop分布式文件系统（HDFS）中，块（Block）是数据存储的基本单位。理解块大小的概念及其重要性对于优化存储和处理性能至关重要。 ## HDFS块大小的基础理解 HDFS将大...

HDFS块大小调整：从理论到实践的综合分析

## HDFS块大小的基本概念 Hadoop分布式文件系统（HDFS）将大文件分割成固定大小的数据块，这些数据块被称为块（block）。在HDFS中，默认情况下，一个块的大小被设置为128MB，但在某些情况下，这个值可能需要调整。...

HDFS块大小的艺术：存储与计算效率的完美平衡

![HDFS块大小的艺术：存储与计算效率的完美平衡]...本章将带领读者了解HDFS块大小的基本概念，为后续章节深入探讨块大小对存储和计算性能的影响打下基础。 ## 什么是HDFS块大小？ HDFS块大小是指在Hadoop分布式

hdfs块大小调整

superGrant的博客

03-08

2448

1、hdfs数据块 HDFS上的文件被划分为块大小的多个分块作为独立的存储单元。HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不是128MB）在hdfs里，datdanode上默认的数据块大小为64M（或128M或256M），块大小调整“不能远少于64MB，也不能远大于64M”。如果块过小，那需要读取的数据块...

大数据Hadoop之——HDFS小文件问题与处理实战操作

匠人精神，持之以恒！

08-21

3038

HDFS中文件上传会经常有小文件的问题，每个块大小会有150字节的大小的元数据存储namenode中，如果过多的小文件每个小文件都没有到达设定的块大小，都会有对应的150字节的元数据，这对namenode资源浪费很严重，同时对数据处理也会增加读取时间。HDFS中分块可以减少后续中MapReduce程序执行时等待文件的读取时间，HDFS支持大文件存储，如果文件过大10G不分块在读取时处理数据时就会大量的将时间耗费在读取文件中，分块可以配合MapReduce程序的切片操作，减少程序的等待时间。

HDFS Block块大小限定依据及原则

GSpinach的博客

08-17

1万+

@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言前言

hadoop的linux命令,hadoop 相关命令(linux)

weixin_28939623的博客

04-30

170

HDFS文件块大小

weixin_46039745的博客

07-06

1081

HDFS是一个分布式文件系统，其数据存储和处理方式与传统的文件系统有所不同。其中一个关键的特性就是它将文件分成一个或多个块，然后将这些块分散存储在不同的物理节点上。这种存储方式可以提高数据的可靠性和可扩展性。而块的大小设置对于HDFS的性能和数据存储有着非常重要的影响。

Hadoop优化与调整

weixin_34332905的博客

04-22

223

2019独角兽企业重金招聘Python工程师标准>>> ...

hadoop关于block总结

易水寒

03-14

2049

大数据-HDFS文件块大小的设置

hmyqwe的博客

11-27

1006

HDFS中的文件在物料上是分块存储，块的大小可以通过配置参数dfs.blocksize来规定，默认大小再Hadoop2.X版本中是128M，Hadoop1.X版本中是64M HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置 HDFS的块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序再出来这块数据时非常慢总结： HDFS块的大小设置主要取决于磁盘传输速率，即机器性能 ...

hdfs文件大小和数据块

最新发布

03-26

<think>好的，用户现在想要了解HDFS中的文件大小和数据块相关的知识。首先，我需要回忆之前已经提供的关于HDFS的介绍，特别是关于数据块的部分。之前的回答里已经提到过HDFS将文件分割成固定大小的块，默认是128MB或256MB，副本机制等。但用户现在更具体地询问文件大小和数据块的关系，可能需要更详细的信息。接下来，我需要考虑用户的潜在需求。用户可能在使用HDFS时遇到了存储优化的问题，或者想知道如何设置块大小来提升性能，特别是处理大文件或小文件的情况。他们可能关心为什么块大小这么设置，或者如何调整块大小来适应不同的应用场景。然后，我需要组织信息结构。首先解释数据块的基本概念，包括默认大小、设计目的，比如减少元数据开销和优化磁盘寻址时间。然后讨论文件大小对HDFS的影响，尤其是大文件和小文件的处理方式。用户可能想知道如何处理小文件问题，比如合并或使用其他工具如HAR文件或HBase。另外，需要提到块大小的配置方法，因为用户可能有调整的需求。还要包括注意事项，比如块大小与硬件的关系，以及最佳实践建议，比如避免小文件，合理设置块大小，监控元数据等。同时，要确保回答符合之前设定的系统级指令，比如使用正确的中文术语，数学表达式用$...$格式，但在这个问题中可能用不到数学公式，所以可能不需要特别处理。结构要清晰，分点说明，可能用表格比较不同文件大小的处理方式。还要检查是否有遗漏的关键点，例如HDFS如何处理超过块大小的文件，块与数据节点的分布，以及块大小对MapReduce任务的影响。这些都是用户可能关心的深层问题，需要简明扼要地解释。最后，需要验证信息的准确性，比如Hadoop 2.x之后的默认块大小是否是128MB，而Hadoop 3是否有变化，副本机制是否正确，以及小文件问题的解决方案是否有其他替代方法。确保所有信息都是最新的，避免过时的内容。</think>以下是关于HDFS文件大小与数据块的详细介绍，结合设计原理、实际影响和操作建议： --- ### 一、数据块（Block）的核心概念 #### 1. **定义与默认值** - **数据块**是HDFS存储文件的基本单位，文件会被切分为多个块分散存储。 - **默认块大小**： - Hadoop 1.x/2.x：**128 MB** - Hadoop 3.x：**256 MB**（可配置） - **设计目的**： - 减少NameNode元数据压力（块越大，元数据条目越少）。 - 优化磁盘寻址时间（减少随机读取开销）。 #### 2. **块大小的意义** - **物理存储无关性**：文件逻辑上连续，但物理上分散存储在不同节点。 - **读写优化**：大块减少客户端与DataNode的网络交互次数，提升吞吐量。 --- ### 二、文件大小对HDFS的影响 #### 1. **大文件（GB/TB级）** - **优势**： - 完美匹配HDFS设计目标，块利用率高。 - 并行读写性能好（MapReduce/Spark任务可并发处理多个块）。 - **示例**：一个1 GB文件会被切分为： - Hadoop 2.x：$1 \text{GB} / 128 \text{MB} = 8 \text{块}$ - Hadoop 3.x：$1 \text{GB} / 256 \text{MB} = 4 \text{块}$ #### 2. **小文件（远小于块大小）** - **问题**： - **存储浪费**：一个10 KB文件仍占用1个完整块（默认128MB），实际存储空间浪费。 - **元数据膨胀**：每个文件/块占用NameNode约150字节内存，100万个小文件需约150 MB内存。 - **解决方案**： - 合并小文件（SequenceFile、HAR归档文件）。 - 使用HBase存储小文件（底层基于HDFS但优化了元数据管理）。 --- ### 三、块大小配置与调优 #### 1. **修改块大小** - **全局配置**：在`hdfs-site.xml`中设置： ```xml <property> <name>dfs.blocksize</name> <value>134217728</value>  </property> ``` - **单文件指定**：在代码或命令中临时覆盖： ```bash hdfs dfs -D dfs.blocksize=256m -put largefile.txt /path/ ``` #### 2. **选择块大小的权衡** | 块大小 | 优势 | 劣势 | |--------|------|------| | **增大** | 减少元数据量，提升吞吐 | 并行度降低，任务负载不均 | | **减小** | 提高并行度，减少数据浪费 | 元数据压力增大，网络交互频繁 | --- ### 四、数据块的物理存储 #### 1. **存储规则** - 每个块存储为**独立物理文件**（如`blk_1073741825`），包含数据和校验信息。 - 块副本按以下策略分布（默认3副本）： - 第1副本：写入请求发起节点（客户端所在DataNode）。 - 第2副本：同一机架内的另一节点。 - 第3副本：不同机架的节点。 #### 2. **块与MapReduce任务** - **数据本地性（Data Locality）**： Map任务优先调度到存储对应块的节点，减少网络传输。 - 本地块 → 本地任务（最优） - 同机架块 → 同机架任务（次优） - 跨机架块 → 跨机架任务（最差） --- ### 五、注意事项与最佳实践 1. **避免小文件**：合并为SequenceFile或使用HBase存储。 2. **块大小与硬件匹配**： - HDD硬盘：适合较大块（减少寻址时间） - SSD硬盘：可适当减小块（随机读取性能高） 3. **监控元数据**：定期检查NameNode内存使用，防止小文件导致内存溢出。 --- ### 六、示例场景分析 #### 场景：存储1个500 MB文件（Hadoop 3.x，块大小256MB） 1. **分块**：$500 \text{MB} / 256 \text{MB} = 2 \text{块}$（实际为2×256MB + 1×剩余244MB）。 2. **副本分布**：每个块生成3个副本，共占用$(2+1)×3=9$个块存储空间。 3. **读取优化**：并行从6个不同节点（2块×3副本）读取数据。 --- 通过合理配置块大小和管理文件分布，可以最大化HDFS的存储效率与计算性能。