hadoop 启动报running beyond virtual memory错误的解决

最新推荐文章于 2022-05-06 17:38:31 发布

原创最新推荐文章于 2022-05-06 17:38:31 发布 · 907 阅读

3 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

73 篇文章

订阅专栏

本文详细记录了一次Hadoop集群中因虚拟内存超出限制而导致的任务失败案例。通过调整mapred-site.xml文件中的内存配置参数，成功解决了内存溢出问题，确保了任务的正常运行。

报错日志：

[2019-01-04 11:05:50.749]Container [pid=7247,containerID=container_1546564651505_0001_01_000002] is running 219036160B beyond the 'VIRTUAL' memory limit. Current usage: 37.6 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1546564651505_0001_01_000002 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 7256 7247 7247 7247 (java) 93 79 2464104448 9358 /usr/local/java/jdk1.8.0_171/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx820m -Djava.io.tmpdir=/usr/local/hadoop/hadoop_tmp/nm-local-dir/usercache/root/appcache/application_1546564651505_0001/container_1546564651505_0001_01_000002/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/usr/local/hadoop/hadoop-3.1.0/logs/userlogs/application_1546564651505_0001/container_1546564651505_0001_01_000002 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 192.168.59.128 34026 attempt_1546564651505_0001_m_000000_0 2
解决办法：在mapred-site.xml文件，设置如下配置

<property>
　　<name>mapreduce.map.memory.mb</name>
　　<value>1536</value>
</property>
<property>
　　<name>mapreduce.map.java.opts</name>
　　<value>-Xmx1024M</value>
</property>
<property>
　　<name>mapreduce.reduce.memory.mb</name>
　　<value>3072</value>
</property>
<property>
　　<name>mapreduce.reduce.java.opts</name>
　　<value>-Xmx2560M</value>
</property>
注意：修改后不用格式化系统，重新启动hadoop即可生效
https://blog.youkuaiyun.com/AHAU10/article/details/53484770
都看到这里了，就顺手点击左上角的【关注】按钮，点击右上角的小手，给个评论，关注一下，再走呗！☺