大数据学习4——伪分布式hadoop的配置和启动

最新推荐文章于 2025-09-20 16:11:54 发布

原创

最新推荐文章于 2025-09-20 16:11:54 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了如何配置和启动Hadoop的伪分布式模式，包括修改core-site.xml和hdfs-site.xml文件，以及NameNode的格式化和DataNode的启动。在启动过程中，通过jps命令检查进程，并列举了可能遇到的问题，如DataNode未启动、权限不足和SecondaryNameNode未启动，以及相应的解决方法。

一、伪分布式Hadoop的配置

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

1.修改core-site.xml文件

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

2.修改hdfs-site.xml文件