八、搭建完全分布式Hadoop集群

最新推荐文章于 2025-01-16 23:01:32 发布

原创最新推荐文章于 2025-01-16 23:01:32 发布 · 221 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍在虚拟机环境下搭建Hadoop2.9.2集群的过程，包括配置、启动及测试步骤。通过SSH连接三台虚拟机，设置NAT网络模式，完成HDFS和YARN配置，最终使用Java API验证集群功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.电脑配置

i5四代处理器，256G固态硬盘的笔记本电脑上安装vmware，然后新建三个虚拟机，每个虚拟机分配888M内存。

2.搭建过程

first：三台虚拟机ssh能互相登陆，hostname分别为server1，server2，server3，对应的ip地址分别为：192.168.138.50，192.168.138.51，192.168.138.52，网络模式为NAT。

second：集群规划如下：

	server1	server2	server3
HDFS	NameNode, DateNode	DateNode	SecondaryNameNode,DateNode
YARN	NodeManager	ResourceManager,NodeManager	NodeManager

third：官网下载hadoop2.9.2二进制包，修改$HADOOP_HOME/etc/hadoop/目录下的一些配置文件：

core-site.xml：

<!-- 指定 HDFS 中 NameNode 的地址 --> 
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://server1:9000</value>
 </property>
<!-- 指定 hadoop 运行时产生文件的存储目录 --> 
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hassan/hadoop/tmp</value> 
</property>

hadoop-env.sh:

export JAVA_HOME=jdk的根目录

hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>3</value> 
</property>
<property>
 	<name>dfs.namenode.secondary.http-address</name>
 	 <value>server3:50090</value>
</property>

slaves

server1
server2
server3

yarn-env.sh

export JAVA_HOME=jdk的根目录

yarn-site.xml

<!-- reducer 获取数据的方式 --> 
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value> 
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 --> 
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>server2</value>
</property>

mapred-env.sh

export JAVA_HOME=jdk的根目录

mapred-site.xml

<!-- 指定 mr 运行在 yarn 上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value> 
</property>

然后使用rsync -r hadoop安装文件 server1:/相应的目录同步文件到集群中的每一个节点。

3.启动集群

first：在server1上格式化NameNode：bin/hdfs namenode -format
second：启动HDFS：sbin/start-dfs.sh，这个时候就像集群规划的那样，可以在相应的节点上看到相应的NameNode, DateNode，SecondaryNameNode进程
third：启动yarn：sbin/start-yarn.sh，这个时候就像集群规划那样，可以在相应的节点上看到相应的ResourceManager,NodeManager进程。

4.测试集群

本来应该使用命令行测试一下HDFS，然后看相应的web界面是否可以访问，但这里偷了个懒，直接访问192.168.1.50:50070，发现HDFS的web界面可以访问，然后使用java API测试了一下HDFS，在其上创建了一个目录并且上传一个文件，代码如下：
pom.xml

<dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>
    </dependencies>

Test.java

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Test {
 static FileSystem fileSystem;
 static {
     Configuration configuration = new Configuration();
     try {
         fileSystem = FileSystem.get(new URI("hdfs://192.168.138.50:9000"), configuration, "hassan");
     } catch (Exception e) {
         e.printStackTrace();
     }
 }


 public static void main(String[] args) {
     try {
         //mkdir();
         Test test = new Test();
         test.upload();
     } catch (IOException e) {
         e.printStackTrace();
     } finally {
         if (null != fileSystem){
             try {
                 fileSystem.close();
             } catch (IOException e) {
                 e.printStackTrace();
             }
         }
     }
 }
 /**
  * 创建一个目录
  */
 public void mkdir() throws IOException {
     fileSystem.mkdirs(new Path("/aaa"));
 }

 public  void upload() throws IOException {
     fileSystem.copyFromLocalFile(new Path("C:\\Users\\Hassan\\Desktop\\Hassan\\project\\hadoop\\hdfs\\document1.txt"),
             new Path("/aaa/document1.txt"));
 }
}

命令行验证java API创建的目录和上传到文件：
bin/hdfs dfs -ls /
bin/hdfs dfs -ls /aaa
bin/hdfs dfs -cat /aaa/document1.txt
发现目录上传正确，文件也上传成功。

5.总结

刚开始为了能在自己公司电脑上操作笔记本虚拟机上的集群，网络模式选择了桥接，但后来ssh一直不稳定，要么connect refused,要么broken pipe，猜测是由争抢ip导致，于是将网络模式改为NAT，问题解决。
启动YARN的时候，发现server1的NodeManager没有启动起来，其它均正常，启动日志无异常(除了本应该在server2上创建一个server1结尾的日志文件，却创建成一个server2结尾的)，然后在server2上ssh server1发现还是ssh到了本地，于是猜测是hosts文件配置错误，果不其然，该文件默认有一行：
localhost server1，由于每一个节点都是由server1克隆而来，所有每一个节点都有这样的问题，修改完hosts文件，清除临时文件目录和日志目录中的文件，并且重新格式化NameNode的文件系统，重启集群问题自然解决。