hdfs中block size规则

本文探讨了HDFS中block的重要性,包括其大小的选择及其对硬盘寻道时间的影响;同时介绍了block与split的区别,以及它们如何影响MapReduce作业。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在hdfs中,如果上传一个大文件,文件会被按64MB每个block来分割到不同的datanode上。在hdfs中添加小于一个文件块的大小的文件,实际占用linux文件系统的大小仍然是文件大小,而非一个hdfs系统中一个块(默认64M)的大小。那么hdfs中设置块的大小还有必要吗,有什么作用?

hdfs设置block的目的

1 为什么通常选择64M或者128,256M(最优选择)?

不能太小的原因:

1 减少硬盘寻道时间:hdfs设计是为了支持大容量数据,如果数据块大小设置过小,需要读取的数据块更多,增大了总的硬盘寻道时间。合适的大小有助于减少硬盘寻道时间,提高系统吞吐量。

2 减少namenode内存消耗:namenode上会记录datanode上的数据块的元信息,如果数据块大小设置过小,需要维护的数据块信息增加,增加namenode内存消耗。

不能太大的原因:

1 监管时间问题:主节点监管其他的节点的时间间隔的预设不好估计。太大时时间间隔短了导致datanode节点任务还没有做完被判定为死亡,时间间隔长了可能在这段时间内节点早已死亡,主节点浪费等待时间。

2 问题分解问题:对于相同的算法,数据量越大,时间复杂度越大。

block与split

1 block是物理上的数据分割,而split是逻辑上的分割。

2 如果没有特别指定,split size 就等于 HDFS 的 block size 。用户可以在M/R 程序中自定义split size。

3 一个split 可以包含多个blocks,也可以把一个block应用多个split操作。

4 一个split不会包含两个File的Block,不会跨越File边界

5 有多少个split,就有多少个mapper。

### HDFS 读取文件流程详解 HDFS 的文件读取流程是一个高效且复杂的操作,它涉及到多个组件的协同工作。以下是关于 HDFS 文件读取流程的详细说明: #### 1. 客户端向 NameNode 发起请求 客户端(Client)通过 RPC(Remote Procedure Call)协议向 NameNode 发起请求,目的是获取所需文件的元数据信息。NameNode 根据文件路径返回该文件对应的 block 列表,以及每个 block 的副本所在的 DataNode 地址[^3]。 #### 2. NameNode 返回 Block 位置信息 NameNode 在接收到请求后,会返回文件的部分或全部 block 列表。对于每个 block,NameNode 都会提供包含该 block 副本的所有 DataNode 地址,并根据网络拓扑结构对这些地址进行排序。排序规则如下: - 距离客户端最近的 DataNode 排在前面。 - 如果某个 DataNode 的状态为 STALE(通过心跳机制检测到超时汇报),则将其排在后面[^3]。 #### 3. 客户端选择 DataNode 进行读取 客户端从排序后的 DataNode 列表中选择一个最优的节点进行数据读取。如果客户端本身也是一个 DataNode,并且该节点上存在所需的 block 数据,则会启用短路读取特性,直接从本地读取数据,从而减少网络传输开销[^4]。 #### 4. 建立 Socket Stream 进行数据读取 客户端与选定的 DataNode 建立连接,底层实现是通过 `FSDataInputStream` 创建一个 Socket Stream。客户端重复调用父类 `DataInputStream` 的 `read` 方法,直到当前 block 上的数据被完全读取完毕[^3]。 #### 5. 检查数据完整性 在读取完一个 block 后,客户端会对数据进行 checksum 验证,以确保数据的完整性。如果发现数据损坏,客户端会通知 NameNode,并尝试从其他包含该 block 副本的 DataNode 重新读取数据[^3]。 #### 6. 继续读取剩余的 block 当一个 block 的数据读取完成后,如果文件尚未读取完毕,客户端会再次向 NameNode 请求下一批 block 的列表,并重复上述步骤,直到整个文件的所有 block 被成功读取并合并成完整的文件。 #### 性能优化建议 为了提高 HDFS 的读取性能,可以采取以下措施: - **启用短路读取**:通过设置参数 `dfs.client.read.shortcircuit=true`,允许客户端直接从本地 DataNode 读取数据[^4]。 - **增大读取缓冲区**:通过调整参数 `dfs.client.read.default.buffer.size` 来优化读取缓冲区大小[^4]。 - **优化预取策略**:通过配置 `dfs.client.read.prefetch.size` 来控制预取 block 的数量[^4]。 - **调整重试策略**:通过设置 `dfs.client.retry.policy` 来定义读取失败时的重试机制。 ```xml <property> <name>dfs.client.read.shortcircuit</name> <value>true</value> </property> <property> <name>dfs.client.read.default.buffer.size</name> <value>65536</value> <!-- 64KB --> </property> <property> <name>dfs.client.read.prefetch.size</name> <value>32</value> </property> <property> <name>dfs.client.retry.policy</name> <value>EXPONENTIAL_BACKOFF</value> </property> ``` #### 数据一致性保障 HDFS 在读取过程中通过校验和机制保证数据的一致性。如果客户端发现某个 block 数据损坏,NameNode 会自动安排从其他副本修复该损坏的 block[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值