搭建hadoop伪集群时遇到的datanode不启动的问题

最新推荐文章于 2023-07-03 22:41:28 发布

see_you_see_me

最新推荐文章于 2023-07-03 22:41:28 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop 集群

本文链接：https://blog.youkuaiyun.com/see_you_see_me/article/details/73886547

在搭建Hadoop伪集群时遇到DataNode无法启动的问题，通过检查配置文件、日志和主机映射，发现是/etc/hosts中缺少本地主机IP与localhost映射。修复映射后，虽然启动无误，但在hadoop-root-datanode-node1.log中出现错误。分析原因包括：未正确配置hosts、多次格式化HDFS导致的clusterID不匹配。需要进一步测试以确定确切原因。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

搭建hadoop伪集群过程中出现一个奇怪的问题：其他进程启动OK，但是DataNode木有启动，终于找到了原因，特此记录留作纪念

各个配置文件内容如下：

/etc/profile:

########## jdk ################
export JAVA_HOME=/opt/package/jdk1.7.0_76

########### hadoop ############
export HADOOP_HOME=/opt/package/hadoop-2.7.2
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sin:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

hadoop-env.sh：

export JAVA_HOME=/opt/package/jdk1.7.0_76

hdfs-site.xml：

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>


    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

core-site.xml：

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value>
    </property>

    <property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/data/hadoop_tmp_dir</value>
    </property>

mapred-site.xml：