hadoop的mapreduce作业中经常出现Java heap space解决方案

我们经常遇到这样的问题，内存溢出，内存溢出的原因是很简单，不够用了，不够用该怎么设置，通过水设置。可以参考下面案例

一、hadoop的mapreduce作业中经常出现Java heap space解决方案

常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？”
10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED
java.lang.OutOfMemoryError: Java heap space
        at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:498)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
        at org.apache.hadoop.mapred.Child.main(Child.java:158)

这个实际上是 Out Of Memory OOM问题。

其实这样的错误有时候并不是程序逻辑的问题(当然有可能是由于程序写的不够高效，产生的内存消耗不合理而导致)，而是由于同样的作业，在数据量和数据本身发生不同时就会占据不同数量的内存空间。由于hadoop的mapreduce作业的运行机制是：在jobtracker接到客户端来的job提交后，将许多的task分配到集群中各个tasktracker上进行分块的计算，而根据代码中的逻辑可以看出，其实是在tasktracker上启了一个java进程进行运算，进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输，所以，这些OOM的错误，其实就是这些java进程中报出了OOM的错误。
     知道了原因以后就好办了，hadoop的mapreduce作业启动的时候，都会读取jobConf中的配置（hadoop-site.xml），只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java进程的max heap size加大，就能解决这样的问题：
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx1024m</value>
</property>

PS：该选项默认是200M

新版本应该是在conf/hadoop-env.sh文件中修改。默认为1000M

二、Maven编译出现“java.lang.        Java heap space”问题及解决办法

最近在Porting原来的一些工程的build从Ant到Maven，由于工程太大，所以建立了不少树形结构的工程，此时在编译的时候常常会出现“java.lang.OutOfMemoryError: Java heap space”错误，从而导致编译失败，这个错误已出现很明显就是编译是给JVM分配的Xmx不够，但是在Maven中直接在mvn命令行后指定-Xmx1024m是不起作用的，此时要想使设置生效，就需要在编译前设置Maven环境参数，如下：

export MAVEN_OPTS='-Xms256m -Xmx1024m'  

然后再运行命令mvn命令编译就不好出现错误了。



三、eclipse内存溢出报错：java.lang.OutOfMemoryError:Java heap space.

1 查看内存:

workspace/.metadata/.plugins/org.eclipse.core.runtime/.settings/org.eclipse.ui.prefs，在里面加上SHOW_MEMORY_MONITOR=true，重启eclipse，就可以在其左下角看到内存使用情况。

已经验证

2 修改内存:
方法一：
找到eclipse/eclipse.ini，打开，在其上加上
-vmargs
-Xms128m
-Xmx512m
-XX：permSize=64M
-XX：MaxPermSize=128M
方法二：
打开eclipse，选择Window--Preferences--Java--Installed JREs，在右边选择前面有对勾的JRE，单击Edit，出现一个EditJRE的对话框，在其中的Default VM Arguments框中输入-Xms128m -Xmx512m。
这样设置java虚拟机内存使用最小是128M，最大是512M。