Hadoop 2.8.0 全分布模式下遇见的坑

最新推荐文章于 2021-11-22 14:35:58 发布

原创

最新推荐文章于 2021-11-22 14:35:58 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

在全分布模式下部署Hadoop 2.8.0时遇到了多个问题，包括IOEF错误、datanode连接超时、配置文件中的localhost问题以及namenode ID不匹配等。解决方法包括正确格式化namenode、修改core-site.xml中的namenode URI为IP地址、清理/tmp目录并重新格式化、调整hosts文件以及解决ID不一致问题。通过这些步骤，最终成功运行Hadoop集群。

我这里设置了三台机子：全是Ubuntu 16.04

192.168.244.120 Master
192.168.244.128 Slave1.Hadoop
192.168.244.130 Slave2.Hadoop

备注：机子上已经全部安装了，JDK1.8，Hadoop-2.8.0 ，ssh 并且设置好无密码登录。
以下是我碰见的所有坑：

java.io.EOFException: End of File Exception between local host is: "Slave2.Hadoop/192.168.244.130"; destination host is: "Master":9001; : java.io.EOFException; For more details s     ee:  http://wiki.apache.org/hadoop/EOFException