Hadoop完全分布式配置

最新推荐文章于 2023-06-28 21:04:02 发布

原创最新推荐文章于 2023-06-28 21:04:02 发布 · 653 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个基于三台虚拟机搭建的Hadoop集群配置方案。详细展示了core-site.xml、hdfs-site.xml及yarn-site.xml等关键文件的具体设置，旨在实现高效稳定的数据处理环境。

该配置仅个人自用，有不足的地方还望指出。

我的集群配置的是3台虚拟机

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01/</value>
    </property>
</configuration>

hdfs-site.xml


<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/dfs/name/</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/dfs/data</value>
    </property>
</configuration>

yarn.-site.xml

<configuration>
	<property>
	        <name>yarn.resourcemanager.hostname</name>
	        <value>hadoop01</value>
	 </property>
	 <property>
	        <name>yarn.nodemanager.aux-services</name>
	        <value>mapreduce_shuffle</value>
	 </property>
</configuration>

slaves

hadoop01
hadoop02
hadoop03