MapReduce数量调整

最新推荐文章于 2023-10-08 10:05:22 发布

大数据扬帆起航

最新推荐文章于 2023-10-08 10:05:22 发布

阅读量273

点赞数 3

文章标签： hive

本文链接：https://blog.youkuaiyun.com/yuqiangdmp/article/details/132354008

版权

本文介绍了如何根据实际数据量调整HadoopMapReduce中的split大小（最大值256MB，建议范围1亿/256M至>100亿/3072M），以及Hive中reducers的最大数量（建议不超过3000，与split大小类似）以提高性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

set mapred.max.split.size = 256000000;
set mapred.min.split.size.per.node = 256000000;
set mapred.min.split.size.per.rack = 256000000;
建议根据实际数据量调整split大小，<1亿/256M,1-10亿/512M,10-50亿/1024M，50-100亿/2048M,>100亿/3072M

set hive.exec.reducers.max=1000;
set hive.exec.reducers.bytes.per.reducer=256000000;
建议根据实际数量调整split大小，最大reduce数设置不超过3000; Reduce Split大小设置：<1亿/256M,1-10亿/512M,10-50亿/1024M，50-100亿/2048M,>100亿/3072M