Spark学习笔记01：Spark集群搭建

目录

一、本机远程桌面连接win7虚拟机

1、远程桌面连接

2、远程桌面连接失败的解决办法

二、使用SecureCRT访问三台虚拟机

1、连接master

2、连接slave1

3、连接slave2

4、更改标签名

5、为虚拟机页面进行设置

三、利用SecureCRT登录三台虚拟机

1、登录master虚拟机

 为master添加域名服务器

2、登录salve1虚拟机

为salve1添加域名服务器

​3、登录salve2虚拟机

为salve2添加域名服务器

4、测试三台虚拟机访问外网

1、测试master访问外网

2、测试slave1访问外网

3、测试slave2访问外网

四、配置三台虚拟机主机名映射

1、配置master虚拟机主机名映射

2、配置slave1虚拟机主机名映射

3、配置slave2虚拟机主机名映射 

五、测试几台虚拟机互ping

1、测试用master ping slave1、slave2

2、添加hosts映射

​3、测试命令提示符ping本机

六、关闭禁用防火墙

1、关闭禁用master虚拟机的防火墙

2、关闭与禁用slave1虚拟机的防火墙

3、关闭与禁用slave2虚拟机的防火墙

 七、关闭SeLinux安全机制

1、master虚拟机关闭SeLinux安全机制

2、slave1虚拟机关闭SeLinux安全机制

3、slave2虚拟机关闭SeLinux安全机制

八、设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

2、slave1虚拟机免密登录master、slave1与slave2

3、slave2虚拟机免密登录master、slave1与slave2

九、在三台虚拟机上安装lrzsr

1、在master虚拟机上安装lrzsz

2、在slave1虚拟机上安装lrzsz

3、在slave2虚拟机上安装lrzsz

十、在三台虚拟机上安装配置JDK

1、在master虚拟机上安装配置JDK

2、将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机

​3、将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机

十一、配置完全分布式Hadoop

（一）在master虚拟机上安装配置hadoop

1、上传hadoop安装包到/opt目录

​2、将hadoop安装包解压到指定位置

​3、配置hadoop环境变量

​4、编辑hadoop环境配置文件 - hadoop-env.sh

​5、编辑核心配置文件 - core-site.xml

6、编辑HDFS配置文件 - hdfs-site.xml

7、编辑MapReduce配置文件 - mapred-site.xml

8、编辑yarn配置文件 - yarn-site.xml

​9、编辑slaves文件

 （二）在slave1虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave1虚拟机

2、将master虚拟机上环境配置文件分发到slave1虚拟机

3、在slave1虚拟机上让环境配置生效

 （三）在slave2虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave2虚拟机

2、将master虚拟机上环境配置文件分发到slave2虚拟机

3、在slave2虚拟机上让环境配置生效

 （四）在master虚拟机上格式化名称节点

 （五）启动与关闭Hadoop集群

1、在master虚拟机上启动hadoop服务

2、查看hadoop集群的WebUI界面

3、停止hadoop服务

 十二、配置Spark Standalone模式的集群

（一）在master主节点上安装配置Spark

1、上传spark安装包到master虚拟机

2、将spark安装包解压到master虚拟机指定目录

3、配置spark环境变量

4、编辑spark环境配置文件

5、创建slaves文件，添加从节点

 （二）在slave1从节点上安装配置Spark

1、把master虚拟机上的spark安装目录分发给slave1虚拟机

2、将master虚拟机上环境变量配置文件分发到slave1虚拟机

3、在slave1虚拟机上让spark环境配置文件生效

 （三）在slave2从节点上安装配置Spark

1、把master虚拟机上的spark安装目录分发给slave2虚拟机

2、将master虚拟机环境变量配置文件发送到slave2

3、在slave2虚拟机上让spark环境配置文件生效

 十三、启动并使用Spark Standalone模式的集群

（一）启动hadoop的dfs服务

（二）启动Spark集群

（三）访问Spark的WebUI

（四）启动Scala版Spark Shell

（五）关闭Spark服务

---

一、本机远程桌面连接win7虚拟机

1、远程桌面连接

查看win7外网IP地址

• 
• 启动远程桌面连接，输入IP地址，点击【连接】按钮

 

输入用户名和密码后，点击【确定】

选择【是】按钮

2、远程桌面连接失败的解决办法

项目--网络--安全组--管理规则

添加规则--输入以下内容--单机添加按钮

设置完成后再次连接即可

二、使用SecureCRT访问三台虚拟机

• 找到SecureCRTPortable应用程序--双击启动
• 

• 1、连接master

单击【Quick Connect】按钮

• 

输入ip地址，单击【Connect】按钮

• 

 输入密码，点击【OK】按钮

 连接成功

•  用同样办法连接slave1、slave2

2、连接slave1

输入slave1IP地址

 输入密码

3、连接slave2

 输入slave2IP地址

 输入用户名和密码

4、更改标签名

在【file]菜单中选择Connect

 选中IP地址右键选择【Rename】

 输入【master】--点击【Connect】

 再次输入密码连接

更改成功

 同理修改slave1\slave2标签名

 

5、为虚拟机页面进行设置

单击master虚拟机

 单击【Options】菜单下的【Session Options】

 【Emulation】---【Terminal】---【liunx】

【Appearance】 --- Fonts 【Normal Font, Character encoding】

 master页面设置完成

 同理设置slave1\slave2页面

• slave1

•  slave2

三、利用SecureCRT登录三台虚拟机

1、登录master虚拟机

 为master添加域名服务器

执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

添加域名服务器(在centos里，复制ctrl+shift+c,粘贴ctrl+shift+v）

 存盘并退出

安装vim 编辑器

2、登录salve1虚拟机

为salve1添加域名服务器

执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

 

添加域名服务器

• 

存盘并退出

 安装vim 编辑器

3、登录salve2虚拟机

为salve2添加域名服务器

• 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

 添加域名服务器

存盘并退出

 

 安装vim 编辑器

4、测试三台虚拟机访问外网

• 把命令一次性发送到多个会话的方法

在最后一行灰色栏处右键单击---勾选【Chat windows】

 在白色区域右键单击勾选【end Chat to All sessions】，之后在空白区域输入命令即可将命令发送至多个虚拟机

1、测试master访问外网

 

2、测试slave1访问外网

3、测试slave2访问外网

四、配置三台虚拟机主机名映射

192.168.43.103 master 192.168.43.104 slave1  192.168.43.105 slave2

1、配置master虚拟机主机名映射

执行命令：vim /etc/hosts

 添加映射

 存盘退出

2、配置slave1虚拟机主机名映射

执行命令：vim /etc/hosts

添加映射

存盘退出

3、配置slave2虚拟机主机名映射 

执行命令：vim /etc/hosts

添加映射

存盘退出

五、测试几台虚拟机互ping

1、测试用master ping slave1、slave2

2、添加hosts映射

在本机中找到hosts文件----右键打开

 添加映射

​3、测试命令提示符ping本机

• ping master

•  ping slave1

•  ping slave2

六、关闭禁用防火墙

关闭防火墙     systemctl stop firewalld.service

禁用防火墙     systemctl disable firewalld.service

查看防火墙状态    systemctl status firewalld.service （dead表示防火墙为关闭状态）

1、关闭禁用master虚拟机的防火墙

2、关闭与禁用slave1虚拟机的防火墙

3、关闭与禁用slave2虚拟机的防火墙

 七、关闭SeLinux安全机制

• 将enforcing改成disable，就可以关闭SeLinux安全机制

1、master虚拟机关闭SeLinux安全机制

执行命令：vim /etc/sysconfig/selinux

2、slave1虚拟机关闭SeLinux安全机制

执行命令：vim /etc/sysconfig/selinux

3、slave2虚拟机关闭SeLinux安全机制

执行命令：vim /etc/sysconfig/selinux

八、设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

执行命令：ssh-keygen，生成密钥对

 执行命令：ssh-copy-id root@master，将公钥拷贝到master

 执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2