本文详细介绍了YARN中MapReduce任务的内存配置参数，包括yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb的作用，以及如何调整map和reduce任务的内存大小。了解这些参数对于优化MapReduce作业性能至关重要。
参考：https://blog.youkuaiyun.com/u014665013/article/details/80923044
1.先看yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-mb：决定MapReduce使用的最小内存
yarn.scheduler.maximum-allocation-mb：决定MapReduce使用的最大内存
2.调整MapReduce内存
调整map任务内存：mapreduce.map.memory.mb
该参数不能比yarn.scheduler.minimum-allocation-mb小，否则不起作用
调整reduce任务内存：mapreduce.reduce.memory.mb
该参数不能比yarn.scheduler.minimum-allocation-mb小，否则不起作用
扫一扫
1272
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
