本文详细介绍了MapReduce的优化参数，包括资源相关参数如Map和Reduce Task的内存和CPU配置，以及YARN的调度器配置。还涵盖了容错相关参数，如任务的最大重试次数和失败容忍比例。此外，讨论了效率和稳定性参数，如推测执行机制和输入文件切片大小的调整。这些优化对于提升MapReduce作业的性能和稳定性至关重要。
一、 MapReduce优化参数
1． 资源相关参数
//以下参数是在用户自己的MapReduce应用程序中配置就可以生效
(1) mapreduce.map.memory.mb: 一个Map Task可使用的内存上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用的资源量超过该值，则会被强制杀死。
(3) mapreduce.map.cpu.vcores: 每个Maptask可用的最多cpu core数目, 默认值: 1
(4) mapreduce.reduce.cpu.vcores: 每个Reducetask可用最多cpu core数目默认值: 1
(5) mapreduce.map.java.opts: Map Task的JVM参数，你可以在此配置默认的java heap
size等参数, 例如：“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc”
（@taskid@会被Hadoop框架自动换为相应的taskid）, 默认值: “”
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
