Saprk Standalone伪分布式安装详解（附脚本）

一、脚本安装

安装脚本：
蓝奏云：https://ydfei.lanzous.com/iqJUdf3r6ub

版本链接
百度云：https://pan.baidu.com/s/1GusTtX1TNjBWN7DcmblaGA
提取码：ygot

脚本使用方法
要求：1.版本spark-2.3.4-bin-hadoop2.6.tgz
参数：1.安装包所在目录（安装在安装包所在位置的soft目录下）
命令格式参考：./spark.sh /opt
注：别忘记修改脚本权限为777

二、手动安装详解

以安装在/opt下为例

1.下载并解压

tar -zxf spark-2.3.4-bin-hadoop2.6.tgz

2.移动并改名

mv spark-2.3.4-bin-hadoop2.6 soft/spark234

3.进入配置目录

cd soft/spark234/conf

4.复制slave.template配置文件

cp slaves.template slaves

5.复制env.sh配置文件，并在最后增加如下配置

cp spark-env.sh.template spark-env.sh

//master的ip
export SPARK_MASTER_HOST=192.168.56.100
//提交任务的端口，默认7077
export SPARK_MASTER_PORT=7077 
//每个节点能分配的cpu 核数
export SPARK_WORKER_CORES=2 
//每个节点能分配的内存
export SPARK_WORKER_MEMORY=3g 
//UI访问的端口
export SPARK_MASTER_WEBUI_PORT=8888

7.在spark-config.sh增加JAVA_HOME路径

cd ../sbin

export JAVA_HOME=/opt/soft/jdk180

8.启动spark服务

./start-all.sh 

测试：jps后要出现Worker和Master两个程序

9.进入spark界面

cd ../bin

./spark-shell

You build it，you run it