Hadoop2.7.3 HDFS完全分布式配置

最新推荐文章于 2021-12-01 15:35:54 发布

原创最新推荐文章于 2021-12-01 15:35:54 发布 · 383 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 同时被 2 个专栏收录

6 篇文章

订阅专栏

Hadoop系列

4 篇文章

订阅专栏

本文详细介绍了如何搭建Hadoop集群，包括服务器规划、时间同步、配置免密码登录、修改核心配置文件等内容，并提供了启动集群及验证成功的方法。

服务器规划如上图所示

搭建步骤：

1.同步时间、配置hosts、关闭防火墙

时间同步：ntpdate -u edu.ntp.org.cn

2.配置免密码登录

NameNode节点到其他节点

3.修改配置文件

修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

  # set to the root of your Java installation
  export JAVA_HOME=/usr/local/software/jdk1.7.0_79

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.111:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/software/hadoop-2.7.3/data</value>
    </property>

</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
   
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.112:50090</value>
    </property>

</configuration>

slaves

192.168.0.112
192.168.0.113
192.168.0.114

在一台机器上配置完成，使用scp命令将上述配置完成的hadoop配置同步到其他机器

4.格式化NameNode

$ bin/hdfs namenode -format

5.启动hdfs

$ sbin/start-dfs.sh

6.使用jps命令查看进程或访问http://192.168.0.111:50070/ 验证是否启动成功。