搭建Spark集群

目录

一，准备工作

      （1）软件软件

<1>将hadoop、jdk和spark软件下载到本机。

<2>本机通过远程连接连接win7虚拟机。连接成功后直接复制软件粘贴到win7。

    （2）利用SecureCRT登录四台虚拟机。

    （3）设置免密登录

           <1>配置ip-主机名映射

               <2>生成公

（4）安装lrzsz 

三，安装jdk

（1）在master上安装配置jdk

（2）将master虚拟机上安装JDK以及环境配置文件发到节点

 四，安装hadoop

（1）上传jdk

（2），配置hadoop环境变量

 （3）配置hadoop环境配置文件-hadoop-env.sh

（4）配置核心配置文件core-site.xml

（5）配置文件 -hdfs-site.xml

（6）复制模板，配置文件mapred-site.xml

（7）配置文件-yarn-site.xml

（8）编辑slaves文件（定名分）

（9）将master虚拟机上的hadoop分发到从节点（以slave01为例）

（10）在master虚拟机上格式化名称节点

（11）启动与关闭Hadoop集群

（12）查看hadoop集群的WebUI界面

五、安装配置Spark Standalone模式的集群

（1）上传spark安装包

(2)编辑spark环境配置文件 - spark-env.sh

(3)从节点上安装配置Spark(slave01为例)

<1>把master虚拟机上的spark安装目录分发给

<2>在slave1虚拟机上让spark环境配置文件生效slave1虚拟机

(4)启动hadoop的dfs服务 启动Spark集群

（5）访问Spark的WebUI

---

一，准备工作

（1）软件软件

<1>将hadoop、jdk和spark软件下载到本机。

<2>本机通过远程连接连接win7虚拟机。连接成功后直接复制软件粘贴到win7。

（2）利用SecureCRT登录四台虚拟机。

 添加域名解析

 ping 外网

 关闭防火墙

 

 修改主机名

 关闭SeLinux安全机制

（3）设置免密登录

<1>配置ip-主机名映射

打开交互窗口(多窗口执行统一命令)

 

 输入命令回车

 修改

<2>生成公钥

 一直回车

  分发公钥

 

（4）安装lrzsz 

执行命令：yum -y install lrzsz

三，安装jdk

（1）在master上安装配置jdk

 

 存盘退出，执行命令：source /etc/profile，让配置生效

 

 执行以下命令使配置生效，并查看java版本

（2）将master虚拟机上安装JDK以及环境配置文件发到节点

 查看成功与否