QQ1012470073的博客

转载：http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/ 本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在ha...

在编写mapreduce程序时，经常会出现程序卡住，最后报OutOfMemoryError: Java heap space的错误。 是因为mapreduce的mapper，reducer的默认对内存大小是200m，可以通过 conf.set("mapreduce.admin.map.child.java.opts", "-Xmx512m");或者 conf.set("mapred.map....