Map/Reduce Task JVM 堆大小设置优化

最新推荐文章于 2024-07-14 11:10:53 发布

原创最新推荐文章于 2024-07-14 11:10:53 发布 · 333 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

22 篇文章

订阅专栏

用户提交的Hive查询和Hadoop作业可能导致集群负载过高，原因是擅自增大了mapred.child.java.opts设置，导致TaskTracker内存耗尽。解决办法是在mapred-site.xml中使用mapreduce.admin.map.child.java.opts和mapreduce.admin.reduce.child.java.opts来限制JVM堆大小，避免无限制设置导致的问题。同时，需要与用户合作优化Hive查询，防止出现OOM。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前一阵子发现用户提交的hive query和hadoop job会导致集群的load非常高，经查看配置，发现很多用户擅自将mapred.child.java.opts设置的非常大，比如-Xmx4096m(我们默认设置是-Xmx1024m), 导致了tasktracker上内存资源耗尽，进而开始不断swap磁盘上数据，load飙升
TaskTracker在spawn一个map/reduce task jvm的时候，会根据用户JobConf里面的值设定jvm的参数，然后写入一个taskjvm.sh文件中，然后调用linux命令"bin/bash -c taskjvm.sh"来执行task，
mapred.child.java.opts就是设定jvm的参数之一，在新版本中已经标注Deprecateded，取而代之的是区分Map task和Reduce task的jvm opts，mapred.map.child.java.opts和mapred.reduce.child.java.opts(默认值为-Xmx200m)
当用户在不设该值情况下，会以最大1G jvm heap size启动task，有可能导致OutOfMemory，所以最简单的做法就是设大参数，并且由于这个值不是final，所以用户在自己的mapred-site.xml中可以覆盖默认值。但是如果很多用户都无限度设置的话，high load问题就来了。
其实在构造JVM Args的过程中，是有另外一个admin参数可以覆盖用户端设置的mapreduce.admin.map.child.java.opts, mapreduce.admin.reduce.child.java.opts
经测试，如果相同的jvm arg如果写在后面，比如"-Xmx4000m -Xmx1000m"，后面的会覆盖前面的，“-Xmx1000m”会最终生效，通过这种方式，我们就可以有限度的控制heap size了
最终在mapred-site.xml中加上


<property>  
      <name>mapreduce.admin.map.child.java.opts</name>  
      <value>-Xmx1024m</value>  
</property>  
<property>  
      <name>mapreduce.admin.reduce.child.java.opts</name>  
      <value>-Xmx1536m</value>  
</property>

构造child java opts的call stack:

[img]http://img.ddvip.com/2013/1009/201310090624092070.gif[/img]

不过这种方式只是限定了task的jvm heap最大限制，如果用户hive query优化不够好还是会抛出OOM，其实是把问题抛给了用户，
接下来还要和用户一起看下到底是哪些query会占用如此大memory，看看有没有进一步优化的空间

转自：http://tech.ddvip.com/2013-10/1381314271203741.html