解决hadoop抛出的Task process exit with nonzero status of 134异常(原创)

本文记录了解决Hadoop单机环境下示例程序无法正常运行的问题过程。通过调整配置及重新编译本地库,最终使所有组件正常工作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转载请注明出处,谢谢:
[url]http://jackiee-cn.iteye.com/blog/1192526[/url]

[u][b]问题:[/b][/u]
hadoop安装完毕后,拿着hadoop的示例程序,尝试在单机环境下运行,先修改/etc/profile文件,增加如下内容:
[color=blue]export JAVA_HOME=/opt/jdk1.6.0_29
export HADOOP_HOME=/opt/hadoop-0.20.203.0
export HADOOP_CLASSPATH="$HADOOP_HOME/javademo"
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH[/color]
然后执行如下命令,让配置生效:
[color=blue]$. /etc/profile[/color]
再执行示例程序(或执行hadoop自带的wordcount示例):
[color=blue]hadoop demo.MaxTemperature input/sample.txt output[/color]
发现日志总停在如下状态:
[color=blue]mapred.JobClient: map 0% reduce 0%[/color]
通过查看hadoop的启动进程:
[color=blue]$ps -ef|grep hadoop[/color]
发现有一个进程异常终止,hadoop正常启动应该启动5个进程(namenode, datanode, secondary namenode, jobtracker, tasktracker),其中tasktracker异常终止了,通过查看 hadoop-root-tasktracker-***.log 日志,发现抛出了一个异常:
[color=red]java.io.IOException: *Task process exit with nonzero status of 134.*
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)[/color]

[u][b]解决办法:[/b][/u]
网上搜索了一番,最终终于把此问题解决掉了,把思路说明一下:
1、通过反编译查看org.apache.hadoop.mapred.TaskRunner类的258行附近的代码:
[color=blue]static
{
LOG.debug("Trying to load the custom-built native-hadoop library...");
try {
System.loadLibrary("hadoop");
LOG.info("Loaded the native-hadoop library");
nativeCodeLoaded = true;
}
catch (Throwable t) {
LOG.debug("Failed to load native-hadoop with error: " + t);
LOG.debug("java.library.path=" + System.getProperty("java.library.path"));
}

if (!nativeCodeLoaded)
LOG.warn("Unable to load native-hadoop library for your platform... using builtin-java classes where applicable");
}[/color]
感觉是加载本地库出了问题。

2、发现在$HADOOP_HOME目录下生成了如下日志文件:
[color=red]hs_err_pid***.log[/color]
这个异常日志,打开一看,看不太懂,又从网上学习了一下,发现了一些线索,其中文件头的内容是这样的:
[color=red]# A fatal error has been detected by the Java Runtime Environment:
#
# SIGFPE (0x8) at pc=0x40008026, pid=31393, tid=2283477936
#
# JRE version: 6.0_29-b08
# Java VM: Java HotSpot(TM) Client VM (20.4-b01 mixed mode linux-x86 )
# Problematic frame:
# C [ld-linux.so.2+0x8026] double+0xb6
#
# If you would like to submit a bug report, please visit:
# http://java.sun.com/webapps/bugreport/crash.jsp
# The crash happened outside the Java Virtual Machine in native code.
# See problematic frame for where to report the bug.[/color]
说明确实是加载本地库导致的异常。

3、网上学习了Hadoop本地库的一些介绍,发现有两种方法解决本地库的问题:
方法一是通过配置让本地库设置失效,在Hadoop的配置文件conf/core-site.xml中可以设置是否使用本地库:
[color=blue]<property>
<name>hadoop.native.lib</name>
<value>false</value>
</property> [/color]
测试后发现问题依然存在。
方法二是重新编译本地库:
于是下载了个ant,在/etc/profile中添加如下内容:
[color=blue]export ANT_HOME=/opt/apache-ant-1.8.0
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin:$PATH[/color]
执行如下命令,让配置生效:
[color=blue]$. /etc/profile[/color]
在$HADOOP_HOME目录下,使用如下命令:
[color=blue] $ant compile-native[/color]
编译完成后,可以在$HADOOP_HOME/build/native目录下找到相应的文件,然后移动编译好的文件到默认目录下。
最后重启hadoop服务,重新执行测试示例,终于看到了任务执行完毕的日志:
[color=blue]11/10/18 08:01:33 INFO mapred.JobClient: map 0% reduce 0%
11/10/18 08:01:55 INFO mapred.JobClient: map 50% reduce 0%
11/10/18 08:01:58 INFO mapred.JobClient: map 100% reduce 0%
11/10/18 08:02:10 INFO mapred.JobClient: map 100% reduce 100%
11/10/18 08:02:15 INFO mapred.JobClient: Job complete: job_201110180800_0001[/color]

最后别忘了将build目录移走或删除,否则有些意想不到的结果。

至此,纠结的问题得以解决,来杯 :arrow:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值