hadoop 学习（六）分布式集群搭建-优快云博客

集群规划

三台服务器 192.168.92.148 192.168.92.150 192.168.92.152

分别将hostname改为 hadoop148 hadoop150 hadoop152

hadoop148

hadoop150

hadoop152

HDFS

NameNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

首先配置ssh

进入~/.ssh 目录

在三台机器上分别执行 ssh-keygen -t rsa 连续三个回车生成公钥和私钥

将秘钥分发到另外两台机器 ssh-copy-id 目标hostname 三台都要执行

ssh成功后测试ssh登录不需要密码即成功

编写脚本封装rsynx 脚本内容如下脚本需要依赖rsync yum install rsync 安装

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环  循环条件包含所需要分发的机器即可    
for((host=148; host<=152; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

脚本放在 /usr/local/bin 下脚本需要赋予执行权限 chmod 777 xsync 分发使用方式 xsync 文件夹路径

hadoop 和 jdk 安装与环境变量配置见 hadoop 学习（一）安装hadoop环境

编辑hadoop配置文件

hadoop-env.sh yarn-env.sh mapred-env.sh 三个配置文件中的java_home全都修改成绝对路径

core-site.xml

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hadoop148:9000</value>
</property>
<!--  文件存储路径   -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<!-- 指定副本数  -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop152:50090</value>
</property>

</configuration>

yarn-site.xml

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop150</value>
</property>
<!-- 开启日志聚集  -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>
</configuration>

mapred-site.xml

<configuration>

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop148:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop148:19888</value>
</property>

</configuration>

将配置好的hadoop分发到另外两台服务器上 xsync /opt/module/hadoop-2.7.7/

启动集群

编辑slaves文件

vim /opt/module/hadoop-2.7.7/etc/hadoop/slaves

加入三台服务器的hostname 不允许有多余的空格和回车