Hadoop 企业优化（调优）_hadoop企业调优-优快云博客

本文链接：https://blog.youkuaiyun.com/yidianyidei/article/details/107713658

本文深入探讨了MapReduce运行缓慢的常见原因，并提供了全面的优化策略。覆盖数据输入、Map和Reduce阶段、IO传输及数据倾斜问题。特别关注HDFS小文件的弊端与解决方案，包括在数据采集阶段合并小文件、MapReduce前的合并操作以及采用CombineTextInputFormat提高处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

MapReduce 跑的慢的原因

在这里插入图片描述

2- 设置相等

3-map reduce 共存 

4-打har 包 或者combineTextinputformat

5-指压缩后的 ---解压

6-溢写， 改大环型缓冲区

7-合并  改变一次合并文件数量

MapReduce优化方法

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数

数据输入

在这里插入图片描述

Map 阶段

在这里插入图片描述

Reduce 阶段

在这里插入图片描述

IO 传输

在这里插入图片描述

*数据倾斜

在这里插入图片描述

HDFS小文件优化方法

HDFS小文件弊端

HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。

HDFS小文件解决方案

小文件的优化无非以下几种方式：

（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。

（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。

（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

解决方案

在这里插入图片描述