阿里云hadoop集群环境搭建

1、基础环境准备

1.1、yum安装rz、sz命令(上传下载)

yum -y install lrzsz

1.2、集群分发脚本xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in h102 h103 h104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

1.3、集群日志生成脚本lg.sh

#!/bin/bash
for i in h102 h103; do
    echo "========== $i =========="
    ssh $i "cd /opt/module/applog/; java -jar gmall2020-mock-log-2021-01-22.jar >/dev/null 2>&1 &"
done 

1.4、多个服务器同步执行shell命令脚本

#! /bin/bash
 
for i in h102 h103 h104
do
    echo --------- $i ----------
    ssh $i "$*"
done

1.5、ssh无密登录配置

h102上生成公钥和私钥，在用户家目录.ssh路径下，执行

ssh-keygen -t rsa

将h102公钥拷贝到要免密登录的目标机器上

ssh-copy-id h102
ssh-copy-id h103
ssh-copy-id h104

h103和h104重复同样的操作

1.6、jdk准备

卸载现有的jdk

sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

将jdk安装包上传到服务器/opt/software/目录下，使用tar -zxvf解压

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

创建环境变量配置文件

vim /etc/profile.d/my_env.sh

添加如下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

让环境变量生效

source /etc/profile.d/my_env.sh

测试jdk是否安装成功

java -version

分发jdk

xsync /opt/module/jdk1.8.0_212/

分发环境变量配置文件

xsync /etc/profile.d/my_env.sh

在每台服务器上分别执行

source /etc/profile.d/my_env.sh

1.7、环境变量配置说明

Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，_/.bashrc，/.bash_profile等，下面说明上述几个文件之间的关系和区别。

bash的运行模式可分为login shell和non-login shell。

例如，我们通过终端，输入用户名、密码，登录系统之后，得到就是一个login shell。而当我们执行以下命令ssh hadoop103 command，在hadoop103执行command的就是一个non-login shell。

这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，_{/.bash_profile，}/.bashrc。non-login shell启动时会加载~/.bashrc。

而在加载_{/.bashrc（实际是}/.bashrc中加载的/etc/bashrc）或/etc/profile时，都会执行如下代码片段，

	for i in /etc/profile.d/*.sh; do
        if [ -r "$i" ]; then
            if [ "$PS1" ]; then
                . "$i"
            else
                . "$i" >/dev/null
            fi
        fi
    done

因此不管是login shell还是non-login shell，启动时都会加载/etc/profile.d/*.sh中的环境变量。

2、hadoop

2.1、hadoop安装配置

上传hadoop安装包到/opt/software/目录下，并解压到/opt/module/

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

在/etc/profile.d/my_env.sh中添加hadoop环境变量

#HADOOP_HOME
expo