6、深入理解 Hadoop 内部机制与架构

深入理解 Hadoop 内部机制与架构

1. Hadoop 文件格式

在 Hadoop 中，有多种文件格式用于存储和管理数据，了解这些文件格式对于数据处理和分析至关重要。

1.1 SequenceFile 及其变体

SequenceFile 是几种变体的基础数据结构，它没有标准的文件扩展名，因此调查人员需要通过分析文件结构来识别它。其变体包括：
- MapFiles ：具有 /index 和 /data 目录的目录结构，键信息存储在 /index 中，键值对存储在 /data 中。
- SetFile 和 ArrayFile ：是 MapFile 的变体，为 MapFile 结构添加了额外功能。
- BloomFiles ：是 MapFile 的扩展，有一个 /bloom 目录用于存储布隆过滤器信息。

这些 MapFile 及其变体可以通过这些特定目录的存在来轻松识别。

1.2 Hadoop 存档文件（HAR）

HDFS 设计用于处理大数据集，但随着文件数量的增加，NameNode 的文件查找速度会降低，且其管理的文件数量受物理内存限制。为解决此问题，HDFS 引入了 Hadoop 存档文件（HAR）。

HAR 文件是将多个小文件存储在一个未压缩的容器文件中，HDFS 提供了接口，可并行访问 HAR 文件