Hadoop伪分布式模式配置

最新推荐文章于 2024-06-25 21:18:27 发布

想飞的大象

最新推荐文章于 2024-06-25 21:18:27 发布

阅读量531

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/qq_24429189/article/details/47278655

本文详细介绍了Hadoop伪分布式模式的配置步骤，包括修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和hadoop-env.sh等配置文件，以及如何格式化HDFS文件系统、启动HDFS和YARN服务，并进行测试验证。通过这些操作，可以在单机环境中模拟Hadoop集群的工作流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop伪分布式模式配置

相关配置文件修改

修改core-site.xml:

$ sudo gvim /usr/local/hadoop/etc/hadoop/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
   </property>
</configuration>

常见配置项说明：

fs.default.name这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。
hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在/tmp/hadoop-${user.name}这个路径中

2修改hdfs-site.xml：

$ sudo gvim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</