本文详细介绍了MapReduce任务的Container资源计算方式，包括task和appmaster的内存（memory）与CPU（vcore）配置。对于task，内存默认为1024MB，CPU默认为1个vcore，内存可通过多个配置参数进行调整；appmaster的内存默认为1536MB，CPU默认为1个vcore。此外，还讨论了调度器对内存和CPU的最小及最大申请限制。
Container for task
memory
- 单位：mega bytes
- 默认值：1024
- 首选"mapreduce.map|reduce.memory.mb" 默认值：0
- 其次
- 获取-Xmx配置的heapsize
- 配置项首选 "mapreduce.map|reduce.java.opts"
- 其次 "mapred.child.java.opts" 默认值：-Xmx200m
- xmx浮动
- 浮动比例："mapreduce.xmx.overflow.memory.percent" 默认值：0.1
- 浮动量："mapreduce.xmx.overflow.memory.mb" 默认值：128
- 综合：xmx = ceil(xmx * (1 + 0.1) + 128 * 1.0) 即默认200*1.1 + 128 = 348
- 获取-Xmx配置的heapsize
cpu
- 单位：vcore
- 默认值：1
- 配置项："mapreduce.map|reduce.cpu.vcores"
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
