Hadoop 企业优化（调优）

最新推荐文章于 2025-12-04 13:32:18 发布

原创最新推荐文章于 2025-12-04 13:32:18 发布 · 158 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs

从零开始学习大数据-Haddop 专栏收录该内容

9 篇文章

订阅专栏

本文深入探讨了MapReduce运行缓慢的常见原因，并提供了全面的优化策略。覆盖数据输入、Map和Reduce阶段、IO传输及数据倾斜问题。特别关注HDFS小文件的弊端与解决方案，包括在数据采集阶段合并小文件、MapReduce前的合并操作以及采用CombineTextInputFormat提高处理效率。

文章目录

MapReduce 跑的慢的原因

在这里插入图片描述

2- 设置相等

3-map reduce 共存 

4-打har 包 或者combineTextinputformat

5-指压缩后的 ---解压

6-溢写， 改大环型缓冲区

7-合并  改变一次合并文件数量

MapReduce优化方法

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数

数据输入

在这里插入图片描述

Map 阶段

在这里插入图片描述

Reduce 阶段

在这里插入图片描述

IO 传输

在这里插入图片描述

*数据倾斜

在这里插入图片描述

HDFS小文件优化方法

HDFS小文件弊端

HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。

HDFS小文件解决方案

小文件的优化无非以下几种方式：

（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。

（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。

（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

解决方案

在这里插入图片描述