hadoop2.9.2完全分布式模式核心文件配置

weixin_51938762

已于 2022-05-14 17:15:26 修改

阅读量290

点赞数 1

CC 4.0 BY-SA版权

文章标签： hadoop big data

于 2022-03-04 16:52:06 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_51938762/article/details/123279999

本文详细解读了Hadoop集群的核心配置文件，包括core-site.xml中的核心路径设置，hdfs-site.xml中的副本数和NameNode地址，yarn-site.xml中ResourceManager和shuffle服务，以及mapred-site.xml中MapReduce框架选择。还提及了 slaves 文件的角色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

core-site.xml



<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.9.2/hdfsdata</value>
        </property>

        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
</configuration>

hdfs-site.xml


<configuration> 
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property> 
        <property>
                <name>dfs.namenode.http-address</name>
                <value>master:50070</value> 
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
</configuration>

yarn-site.xml


<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

mapred-site.xml


<configuration>
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
	</property>
</configuration>

slaves

slave1
slave2