hadoop分布式搭建集群_yangyuguang-优快云博客

本文链接：https://blog.youkuaiyun.com/yangyuguang/article/details/86418731

本文详细介绍了Hadoop集群的搭建过程，包括生成公钥和私钥、配置核心文件如core-site.xml、hdfs-site.xml、yarn-site.xml等，以及格式化namenode和启动集群的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop搭建集群
1 .生成公钥和私钥

		         ssh-keygen -t rsa
                 一直按回车
                ssh-copy-id hadoop101
				自己的服务器也需要配置
				ssh-copy-id hadoop103 
				hadoop103的是ip地址
		        自己的服务器也需要配置

2.需要配置的文件

core-site.xml
hdfs.xml有三个配置文件： 
                        hadoop-env.sh
                        hdfs-site.xml
                        slaves
yarn有两个配置文件
                        yarn-env.sh
                        yarn-site.xml
mapreduce
                        mapred-env.sh
                        mapred-site.xml

core-site.xml

   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:900</value>
    </property> <property>
        <name>hadoop.tmp.dir/name>
        <value>/opt/module/hadoop/data/tmp</value>
    </property>

hdfs-site.xml

<property> 
	     <name>dfs.namenode.secondary.http-address</name> 
		 <value>node12:50090</value> 
</property>
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

配置slaves

 各个节点的ip地址

yarn-site.xml

    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
    </property>

集群第一次启动，格式化namenode

先删除data 和logs
hadoop namenode -format

启动完sbin/start-dfs.sh
访问namenode节点：http://node1:50070