MapReduce的参数优化

目录

一、资源相关参数

二、容错相关参数

三、本地运⾏MapReduce作业

四、效率和稳定性相关参数

---

一、资源相关参数

以下参数是在⽤户⾃⼰的mr应⽤程序中配置在mapred-site.xml就可以⽣效

1. mapreduce.map.memory.mb: ⼀个 Map Task 可使⽤的资源上限（单位 :MB ）， 默认为1024 。如果 Map Task 实际使⽤的资源量超过该值，则会被强制杀死。

2. mapreduce.reduce.memory.mb: ⼀个 Reduce Task 可使⽤的资源上限（单位:MB ），默认为 1024 。如果 Reduce Task 实际使⽤的资源量超过该值，则会被强制杀死。

3. mapreduce.map.cpu.vcores: 每个 Map task 可使⽤的最多 cpu core 数⽬ ,默认值: 1

4. mapreduce.reduce.cpu.vcores: 每个 Reduce task 可使⽤的最多 cpu core数⽬ , 默认值 : 1

5. mapreduce.map.java.opts: Map Task 的 JVM 参数，你可以在此配置默认的java heap size等参数 .

⽐如：

        -Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc” （ @tas