hadoop-hdfs启动又自动退出的问题

最新推荐文章于 2024-05-12 20:29:05 发布

最新推荐文章于 2024-05-12 20:29:05 发布 · 412 阅读

文章标签：

#Hadoop #Servlet #Linux #防火墙 #Apache

HBase 专栏收录该内容

25 篇文章

订阅专栏

本文详细记录了在使用Hadoop HDFS时遇到启动后自动退出的问题，通过日志分析发现原因在于配置文件中主机名与域名的不一致，以及DNS解析或/etc/hosts配置的问题。最终，作者通过将配置中的主机名替换为域名，并确保DNS解析正确，成功解决了问题。

hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊！

日志如下：
2010-05-19 12:47:44,991 INFO http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted

很莫名其妙的问题，据说是因为双IP的问题，LINUX下要禁止IPV6，可我觉得这个问题开发团队肯定是注意了的，问题不在这里。

经过1天甚至还多的时间折腾，我发现下面的规律：

1、namenode第一次启动，日志显示正常，但是bin/hadoop fs -put 会报错，就是常见的：
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1

这个问题也可能是防火墙的问题，前面也遇到过。

2、namenode第二次启动（或之后），日志显示就不正常了。就是上面贴出来的，正常启动又自己自动关闭。

3、经过反复测试，发现问题在这里

3.1、每台机器都有名称，job运行的时候会根据主机名获取地址，所以要做DNS解析或者在/etc/hosts里面自己写上。（这个总结题外话，也不知道是否一定准确）

3.2、就是本篇文章要讲的问题：
<property>
        <name>fs.default.name</name>
        <value>hdfs://home0.hadoop:9000</value>
</property>

<property>
        <name>mapred.job.tracker</name>
        <value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop，不要写主机名称，得是域名。经过DNS或者hosts解析的域名。

3.3另外masters里面，我现在也写成了home0.hadoop，没有测试和这个问题是否有关系。