Hadoop及spark集群搭建踩过的坑

本集群总共有三台主机，一台master，两台slave

• Hadoop有一个节点无法启动

在按照教程子雨大数据之Spark入门教程(Python版)搭建Hadoop集群时，运行jps命令，发现master和其中一个slave能正常工作，运行./bin/yarn node -list发现只有一个alive节点

再次申明：本文只是针对搭建集群中有一个节点无法启动，而不是所有的节点

进一步观察，发现运行jps命令后，未启动节点的nodemanager不能正常启动

根据网上相关的建议在datanode上查看log文件（文件会在启动Hadoop集群时显示其所在目录），发现datanode连接不到主机，进一步查看其连接的主机IP地址，发现同伴将主机IP地址写错了\吐血

将host文件主机的IP地址改正后，重启即可正常运行

• Incompatible clusterIDs in /usr/local/hadoop/tmp/dfs/data

这个错误出现了两次

第一次是同伴在第一次运行hadoop时，根据上述教程运行了bin/hdfs namenode -format这个命令

还有一次是另一个同伴将从节点关机重启后，master的clusterID就和slaves的不一样了。

解决方式有两种：

第一种：把配置文件hdfs.site.xml中dfs.datanode.data.dir在本地系统的路径下的current/VERSION（一般$HADOOP/tmp/dfs/data/current文件夹下）中的clusterID改为与namenode一样。重启即可！

第二种：重装一遍hadoop集群，删除tmp和log文件夹后重新向slaves节点发送一遍hadoop文件夹

注意：这会删除HDFS中原有的