Hadoop的tasktracker启动失败，重编译native库

解决Hadoop安装中DatapNode启动失败及TaskTracker无法启动问题

最新推荐文章于 2022-08-17 22:20:37 发布

原创最新推荐文章于 2022-08-17 22:20:37 发布 · 172 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux #hadoop #gcc

hadoop 同时被 2 个专栏收录

20 篇文章

订阅专栏

Linux

11 篇文章

订阅专栏

文章详细介绍了在安装Hadoop过程中遇到DatapNode启动失败，TaskTracker无法启动的问题，并提供了解决方案。通过下载ant重新编译Hadoop的native库，修改配置文件核心参数，以及检查并升级gcc版本，最终成功解决了问题。

hadoop的datanode启动失败，只能启动datanode进程，而tasktracker则未能启动，查看HADOOP HOME下的hs_err_pid*文件，错误如下：

# A fatal error has been detected by the Java Runtime Environment:
#
#  SIGFPE (0x8) at pc=0x0000003995f07827, pid=32635, tid=1076017504
#
# JRE version: 6.0_32-b03
# Java VM: Java HotSpot(TM) 64-Bit Server VM (20.7-b02 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# C  [ld-linux-x86-64.so.2+0x7827]
#
# If you would like to submit a bug report, please visit:
#   http://java.sun.com/webapps/bugreport/crash.jsp
# The crash happened outside the Java Virtual Machine in native code.
# See problematic frame for where to report the bug.

根据这位仁兄的思路：http://jackiee-cn.iteye.com/blog/1192526

下载ant，重新编译hadoop的native库，把HADOOP HOME下：
build/native/Linux-amd64-64/lib
的所有文件，拷贝到HADOOP HOME的：
lib/native/Linux-amd64-64/

跟着修改core-site.xml，增加以下变量：

<property> 
  <name>hadoop.native.lib</name> 
  <value>true</value> 
</property>

tasktracker就能正常启动。如果还是启动失败，可以看看gcc的版本，若gcc版本低于4.1则可能是gcc的问题，升级gcc的方法，见《Redhat AS 4 成功升级最新gcc》[url]http://blackwing.iteye.com/admin/blogs/1534642[/url]