搭建Spark Standalone模式的集群

一 利用SecureCRT登录三台虚拟机

对master slave1 slave2执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件并添加两个域名服务器（右击对话框选择chat windows,在次点击send chat all sessions可以在对话框内输入的内容同时写到多个虚拟机上面）

执行命令：yum -y install vim 安装vim

测试maser slave1 slave2能否链接外网

查看master slave1 slave2主机名

配置master slave1 slave2虚拟机IP-主机名映射 执行命令：vim /etc/hosts

关闭与禁用master slave1 slave2虚拟机的防火墙

在master slave1 slave2 虚拟机上关闭SeLinux安全机制执行命令：vim /etc/sysconfig/selinux

设置免密登录master slave1 slave2虚拟机免密登录

执行命令：ssh-keygen，生成密钥对

执行命令：ssh-copy-id root@master、slave1 slave2 将公钥拷贝到maste、slave1 slave2 

master

slave1

slave2

master 免密登录

slave1 免密登录

slave2 免密登录

执行命令：yum -y install lrzsz 在master slave1 slave2 虚拟机上安装lrzsr

安装并配置JDK

上传安装包到 /opt

执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到/usr/local

 

执行命令：ls /usr/local，查看解压之后的jdk

执行命令：vim /etc/profile，配置环境变量（JAVA_HOME=/usr/local/jdk1.8.0_231
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH）

存盘退出，执行命令：source /etc/profile，让配置生效并查看版本

 

 编写一个Java程序 - HelloWorld.java（vim HelloWorld.java）

存盘退出后，执行命令：javac HelloWorld.java，编译成字节码文件

执行命令：java HelloWorld

 将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机（执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME）

在slave2虚拟机上查看Java是否拷贝成功

 

 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile，将环境配置文件分发到slave1虚拟机

 执行命令：source /etc/profile，让配置生效

执行命令：java -version，查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机（执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME ）

 

 在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile，将环境配置文件分发到slave1虚拟机

在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile，将环境配置文件分发到slave1虚拟机

在slave1虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

执行命令：source /etc/profile，让配置生效并查看jdk