[HDFS 相关优化 ]

目录

Hadoop优化有哪些方面

 HDFS 小文件影响

 数据输入小文件处理：

Map 阶段

Reduce 阶段

IO 传输

整体

---

Hadoop优化有哪些方面

•  HDFS 小文件影响

• 影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中
• 影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务

1. 合并小文件：可以将多个小文件合并成一个大文件。这可以通过使用 Hadoop 提供的工具，如 CombineFileInputFormat 或自定义 MapReduce 作业来实现。这样可以减少 NameNode 需要管理的元数据数量，同时也能减少 Map 任务的数量。

2. 使用 HAR（Hadoop Archive）：HAR 文件是一种将小文件打包成单个归档文件的 Hadoop 解决方案。它允许对一组文件进行透明访问，而无需解压整个归档文件。HAR 文件在 HDFS 上被当作单个文件处理，减少了 NameNode 的负担。

3. 使用 Sequence Files：Sequence Files 是 Hadoop 的一种二进制文件格式，它将小文件存储为一系列键值对。它们可以有效地压缩和存储大量小文件，同时支持快速的数据访问。

4. 调整 MapReduce 配置：可以调整 MapReduce 作业的配置，如 mapreduce.input.fileinputformat.split.maxsize 和 mapreduce.