Spark Standalone模式环境搭建

介绍

        Spark Standalone模式是Spark的一种部署模式，在Spark Standalone模式下，用户可以通过启动一个或多个Spark主节点（Master）和多个Spark工作节点（Worker）来创建一个Spark集群。Spark主节点负责资源的分配和任务调度，而Spark工作节点负责执行具体的任务。

        用户可以通过配置文件或命令行参数来设置Spark Standalone集群的属性，如主节点地址、端口号、工作节点数量、内存分配等。一旦集群启动，用户可以使用Spark提供的API或命令行工具来提交和管理Spark应用程序。

        Spark Standalone模式的优点包括简单易用、轻量级、高性能和灵活性。它适用于小型到中型规模的集群，并且可以与其他资源管理器集成，如Hadoop YARN或Mesos，以扩展集群规模和资源利用率。

安装

1.前置条件

        1.配置三台机器之间的免密登录

        2.Spark Local模式环境搭建

        3.Hadoop集群搭建

        4.确保主机master安装了jdk，hadoo，spark。另外两台可以不装，因为之后的操作会把主机的这些环境发送给另外两台。

2.修改主机Spark配置文件

        1.在master中进入spark安装文件解压缩后路径的conf目录，修改 slaves.template 文件名为 slaves.

root@mast