hadoop 异常处理实例（一）hadoop内存配置项

最新推荐文章于 2020-10-30 17:03:19 发布

weixin_34348174

最新推荐文章于 2020-10-30 17:03:19 发布

阅读量506

点赞数

文章标签：大数据 java

本文介绍了Hadoop中出现的Job失败问题及内存溢出错误，并详细解释了如何通过调整Hadoop的内存配置来解决这些问题。包括mapred.child.java.opts参数、HADOOP_HEAPSIZE环境变量以及io.sort.mb属性的具体作用与推荐配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Exception in thread "main" java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
        at org.apache.nutch.parse.ParseSegment.parse(ParseSegment.java:209)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:143)
        at org.apache.hadoop.util.ToolR

http://192.168.2.30:50030/jobtracker.jsp

单机JobID那个东东

单机map或者 killed = 1 均可

Error: Java heap space
Error: Java heap space
Error: Java heap space
Error: Java heap space

hadoop内存配置项

<property>
    <name>mapred.child.java.opts</name>  map任务启动内存
    <value>-Xmx64m</value>
</property>
hadoop-env.sh
export HADOOP_HEAPSIZE=32  这个是namenode datanode启动的设置内存

<property>
 <name>io.sort.mb</name>    排序内存（要小于map启动内存，一般是调大的。。如果调大，则要配合map槽和机器内存一起）
 <value>10</value>
</property>