本文详细介绍了Hadoop MapReduce中的关键配置参数及其作用，包括缓存策略、压缩设置及并行下载等，有助于理解MapReduce的工作原理及优化。
| property | default | description |
| io.sort.mb | 100(mb) | 缓存map中间结果的buffer大小 |
| io.sort.record.percent | 0.05 | io.sort.mb中用来保存mapoutput记录边界的百分比，其他缓存用来保存数据 |
| io.sort.spill.percent | 0.8 | map开始做spill操作的阈值 |
| io.sort.factor | 10 | 做merge操作时同时操作的stream数上限。 |
| min.num.spill.for.combine | 3 | combiner函数运行的最小spill数 |
| mapred.compress.map.output | FALSE | map中间结果是否采用压缩 |
| mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | |
| min.num.spill.for.combine | 3 | combiner函数运行的最小spill数 |
| mapred.compress.map.output | FALSE | map中间结果是否采用压缩 |
| mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | |
| mapred.reduce.parallel.copies | 5 | 每个reduce并行下载map结果的最大线程数 |
| mapred.reduce.copy.backoff | 300(s) | reduce下载线程最大等待时间 |
| io.sort.factor | 10 | |
| mapred.job.shuffle.input.buffer.percent | 0.7 | 用来缓存shuffle数据的reducetaskheap百分比 |
| mapred.job.shuffle.merge.percent | 0.66 | 缓存的内存中多少百分比后开始做merge操作 |
| mapred.job.reduce.input.buffer.percent | 0 | ort完成后reduce计算阶段用来缓存数据的百分比 |
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
