HIVE-shuffle阶段的oom处理方法

最新推荐文章于 2024-08-01 08:57:51 发布

原创最新推荐文章于 2024-08-01 08:57:51 发布 · 2.2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hive #oom #shuffle #MapReduce #有点秃然

hive 专栏收录该内容

3 篇文章

订阅专栏

本文探讨了Hadoop中Shuffle阶段的内存管理问题，包括调整reduce数、修改Shuffle内存参数等解决策略，深入解析了Fetcher过程中的内存溢出问题及解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

工作中碰到的问题，现在记下来以后好找。
1.增加reduce数（set mapreduce.job.reduces=xxx）或者
set hive.exec.reducers.bytes.per.reducer=150000000;默认是1G
2.或调整放在内存里的最大片段所占百分比
（set mapreduce.reduce.shuffle.memory.limit.percent=0.15）。
这么设置的原因是因为默认会产生5个fetcher线程。
SHUFFLE_INPUT_BUFFER_PERCENT = “mapreduce.reduce.shuffle.input.buffer.percent”; shuffle使用的内存比例，默认是0.7。Shuffle内存为总内存 * 0.7。
SHUFFLE_MEMORY_LIMIT_PERCENT = “mapreduce.reduce.shuffle.memory.limit.percent”; 单个shuffle任务能使用的内存限额，默认是0.25，即为 Shuffle内存 * 0.25。
SHUFFLE_MERGE_PERCENT = “mapreduce.reduce.shuffle.merge.percent”; 默认0.66 shuffle的数据量到Shuffle内存 * 0.66的时候，启动合并。
shuffle阶段的Fetcher过程中出现内存溢出。SHUFFLE_INPUT_BUFFER_PERCENT是指在总的HeapSize中 shuffle占得内存百分比我们总的HeapSize假设是1.5G，那大概Fetcher就是1.0G。 SHUFFLE_MEMORY_LIMIT_PERCENT是指的map copy过来的数据是放内存中还是直接写磁盘。超过1.5GX0.7X0.25=250M的都放在磁盘中，其它开辟内存空间，放在内存中。 SHUFFLE_MERGE_PERCENT是指merge的百分比，超过这个百分比后停止fetcher，进行merge，merge到磁盘中。

一般用第二种方法就可以解决了，但是因为写的内存从0.25变成0.15，速度会变慢。
参考了：https://blog.youkuaiyun.com/houzhizhen/article/details/84773884博文，如果想深究原因的话可以看看