5.hadoop之完全分布式运行模式

最新推荐文章于 2023-09-22 09:32:03 发布

原创最新推荐文章于 2023-09-22 09:32:03 发布

· 257 阅读

0 ·

版权

文章标签：

#分布式 #大数据 #hadoop

hadoop 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了如何搭建一个完全分布式的Hadoop集群，包括准备虚拟机、安装配置JDK和Hadoop、配置SSH无密码登录、集群部署规划以及配置HDFS、YARN和MapReduce。此外，还讲解了使用scp、rsync和自定义xsync脚本进行文件分发的方法，以及集群的时间同步策略。最后，文章提供了集群启动和测试的基本步骤，以及常用的服务启动和停止命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

完全分布式模式

1 需求分析

1）准备3台客户机(关闭防火墙，静态ip，主机名称)–参照之前的文章

此后hadoop01为备机，hadoo02，03，04为集群

2）安装JDK

3）配置环境变量

4）安装Hadoop

5）配置环境变量

6）配置集群

7）单点启动

8）配置ssh

9）群起并测试集群

2 搭建集群

2.1 虚拟机准备

参照之前的博客进行搭建

2.2 编写集群分发脚本

2.2.1 scp：安全拷贝

1）scp定义：

scp可以实现服务器与服务器之间的数据拷贝。

2）基本语法

scp   -r     $pdir/$fname        $user@hadoop$host:$pdir/$fname

命令  递归    要拷贝的文件路径/名称  目的用户@主机:目的路径/名称

3）实例

#推：在hadoop01上，将hadoop01中/opt/module目录下的软件拷贝到hadoop02上。
scp -r /opt/module  root@hadoop02:/opt/module

#拉：在hadoop03上，将hadoop01服务器上的/opt/module(该文件数据code1997用户)目录下的软件拷贝到hadoop03上
sudo scp -r code1997@hadoop01:/opt/module root@hadoop03:/opt/module

#在hadoop03上操作将hadoop01中/opt/module目录下的软件拷贝到hadoop04上。
scp -r code1997@hadoop01:/opt/module root@hadoop04:/opt/module

#在Hadoop1上将hadoop01中/etc/profile文件拷贝到hadoop02的/etc/profile上
sudo scp /etc/profile root@hadoop02:/etc/profile

#将hadoop01中/etc/profile文件拷贝到hadoop03的/etc/profile上
sudo scp /etc/profile root@hadoop03:/etc/profile

#将hadoop01中/etc/profile文件拷贝到hadoop04的/etc/profile上
sudo scp /etc/profile root@hadoop04:/etc/profile

注意：

拷贝完/opt/module之后需要修改该文件的所有者，sudo chown code1997:code1997 -R /opt/module。
拷贝完profile配置文件，需要source一下。

2.2.2 rsync 远程同步工具

1）基本语法

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

2）基本语法

rsync    -rvl       $pdir/$fname              $user@hadoop$host:$pdir/$fname

命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

选项	功能
-r	递归
-v	显示复制过程
-l	拷贝符号链接

3）案例

#把hadoop101机器上的/opt/software目录同步到hadoop102服务器的root用户下的/opt/目录
rsync -rvl /opt/software/ root@hadoop02:/opt/software

2.2.3 xsync集群分发脚本

需求：循环复制文件到所有的节点的相同目录下。

脚本实现：

1）创建脚本文件

在/home/code1997下创建bin目录，并在bin目录下创建xsync文件。

[code1997@hadoop02 ~]$ cd ~
[code1997@hadoop02 ~]$ pwd
/home/code1997
[code1997@hadoop02 ~]$ mkdir bin
[code1997@hadoop02 ~]$ cd bin
[code1997@hadoop02 bin]$ touch xsync
[code1997@hadoop02 bin]$ vim xsync

2）添加脚本内容

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环：在02上执行到03，04
for((host=03; host<05; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

3）提权限

chmod 777 xsync

4）拷贝测试

输入xsync bin/。

出现如下的情况：

原因：可能是host为03，04的时候把0给省略掉了。

解决：修改脚本将rsync -rvl $pdir/$fname $user@hadoop$host:$pdir改为rsync -rvl $pdir/$fname $user@hadoop0$host:$pdir

再次测试：

成功！！！

如果将xsync放到/home/code1997/bin目录下仍然不能全局使用，可以将xsync移动到/usr/local/bin下

2.3 集群的配置

2.3.1 集群部署规划

	hadoop02	hadoop03	hadoop04
HDFS	NameNode DataNode	DataNode	SecondaryNameNode，DataNode
YARN	NodeManager	ResourceManager，NodeManager	NodeManager

NameNode 和SecondaryNameNode占用内存基本1:1，分开比较好。

2.3.2 配置集群

1）核心配置文件：core-site.xml

<configuration>
    <!--指定HDFS中NameNode的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop02:9000</value>
    </property>
    <!--指定hadoop运行时产生文件的存储目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
</configuration>

2）HDFS配置文件

hdfs-env.sh：配置JAVA_HOME

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/module/jdk1.8

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop04:50090</value>
    </property>
</configuration>

3）配置YARN配置文件

yarn-env.sh：配置JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8

yarn-site.xml：

<configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- Reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop03</value>
    </property>
    <!-- 日志聚集功能使能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 日志保留时间设置7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

4）MR配置

配置mapred-env.sh：java_home

export JAVA_HOME=/opt/module/jdk1.8

配置mapred-site.xml：指定mapreduce在yarn上执行。

<!-- 指定MR运行在YARN上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

选配：

<!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop02:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop02:19888</value>
    </property>

5）将hadoop配置同步到其他的节点上。

xsync /opt/module/hadoop-2.7.2/

6）查看其它的机器上的hadoop文件的配置情况。

2.3.3 集群的单点启动

1）如果是集群第一次启动，需要格式化NameNode。

注意点：

关闭进程。
删除data和log文件夹(三个机器都删除)。
格式化：bin/hdfs namenode -format

2）hodoop02上启动namenode和datanode

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

jps查看：

3）hadoop02和hadoop04上分别启动datanode

2.3.4 配置SSH无密码登陆配置

一个一个节点启动，效率十分的低。

1）语法

ssh ip

2）免密登陆原理

3）生成公钥和私钥

#生成公钥和私钥
ssh-keygen -t rsa

4）将公钥拷贝到要免密登陆的目标机器上。

id_rsa为私钥。
id_rsa.pub为公钥。

ssh-copy-id hadoop02
ssh-copy-id hadoop03
ssh-copy-id hadoop04

hadoop03中：

5）登陆测试

6）需要在哪里配置免密登陆？

hadoop02的code1997账户上上，因为他有namenode节点，需要和其他节点进行通信。
hadoop03的code1997账户上，他有resourceManager，需要和其他nodeManager进行通信。
hadoop02的root账户上配置免密登录。

7）根据6）的分析自己进行配置。

这里就根据之前步骤，自己实现。

8）.ssh文件夹下的文件解释

known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过得无密登录服务器公钥

2.4 群起集群

2.4.1 配置slaves

1）配置slaves即可

[code1997@hadoop02 .ssh]# cd /opt/module/hadoop-2.7.2/etc/hadoop/
[code1997@hadoop02 hadoop]# vim slaves

文件增加如下内容：什么机器上有node节点就写哪些机器。

该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

hadoop102
hadoop103
hadoop104

2）同步到所有配置文件：xsync slaves

2.4.2 启动集群

1）集群第一次启动，需要格式化NameNode。要求和之前保持一致。

关掉namenode，datanode。
删除data和logs
格式化namenode

2）启动hdfs

[code1997@hadoop02 hadoop-2.7.2]# sbin/start-dfs.sh

//关闭hdfs的指令，不必执行
sbin/stop-dfs.sh

4）启动yarn：NameNode和ResourceManager不在同一个机器上，不能再NameNode上启动Yarn，应该ResourceManager的机器上启动yarn。

[code1997@hadoop03 hadoop-2.7.2]$ sbin/start-yarn.sh

5）查看进程是否都启动成功

2.5 集群的基本测试

2.5.1 上传文件到集群

上传文件：

[code1997@hadoop02 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/word.txt /
[code1997@hadoop02 hadoop-2.7.2]$ bin/hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /

访问hdfs：http://hadoop02:50070/explorer.html#/

注意：

三个副本。
该文件分成了两块。

2.5.2 集群文件存储路径说明：

我们发现小文件依旧为原样，大文件被切分为两部分，那么大文件是原文件吗？我们一探究竟

[code1997@hadoop02 subdir0]$ cat blk_1073741831 >> blk_1073741830

[code1997@hadoop02 subdir0]$ tar -zxvf blk_1073741830

[code1997@hadoop02 subdir0]$ ll

答案是：是的。

2.6 集群启动/停止方式总结

2.6.1 各个服务组件逐一启动/停止

1）分别启动/停止HDFS组件

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh stop datanode

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode

2）启动停止yarn

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh stop nodemanager

sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager

2.6.2 各个模块分开启动/停止(需配置ssh)

sbin/start-dfs.sh
sbin/stop-dfs.sh

sbin/start-yarn.sh
sbin/stop-yarn.sh

2.7 集群时间同步

2.7.1 crontab：定时任务

1）常见的命令：

2）实例

每隔一分钟，向文件/opt/module/test_crontab/hello.txt中添加一个11的数字。

#进入编辑模式
crontab -e
#添加内容：
*/1 * * * * /bin/echo "hello" >> /opt/module/test_crontab/hello.txt
#启动服务
systemctl restart crond.service

等待几分钟后输出hello.txt中的内容：

查看和删除定时任务：

#查看定时任务
crontab -l
#删除定时任务
crontab -r

2.7.2 集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

注意：需要使用Root用户来操作。

1）查看ntp服务：rpm -qa|grep ntp

2）修改ntp配置文件：vim /etc/ntp.conf

授权192.168.134.0-192.168.134.255网段上的所有机器可以从这台机器上查询和同步时间：
集群在局域网中，不使用其他互联网上的时间：
当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步：
```
server 127.127.1.0
fudge 127.127.1.0 stratum 10
```

3）修改/etc/sysconfig/ntpd文件

添加：让硬件时间与系统时间一起同步：SYNC_HWCLOCK=yes

4）重新启动ntpd服务

[root@hadoop02 test_crontab]# systemctl status ntpd

[root@hadoop02 test_crontab]# systemctl start ntpd

5）设置开机自启动

[root@hadoop02 test_crontab]# chkconfig ntpd on

6）其他机器(root用户)

配置定时任务：

[root@hadoop03 hadoop-2.7.2]# crontab -e
#内容如下
*/10 * * * * /usr/sbin/ntpdate hadoop02

修改任意机器时间：

[root@hadoop03 hadoop-2.7.2]# date -s "2017-9-11 11:11:11"

十分钟后查看机器是否与时间服务器同步：(将时间改为1分钟用于测试)。

同步前：

同步后：