mac spark 配置

其实mac ,windos ,linux 配置方法都是一样的，要安装spark，首先要按照hadoop，因为spark的存储依赖hadoop,要按照hadoop，就要安装jdk，因为spark是scala开发的，所有也需要安装sacal.

一、java安装(jdk)

java版本1.8默认系统安装位置：
/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home

二、hadoop安装

不需要

三、scala安装

官网下载Scala：http://www.scala-lang.org/download/

解压
tar -xzf scala-2.12.6.tgz

配置变量
Mac的环境变量是：vi .bash_profile

export SCALA_HOME=/安装路径/scala-2.12.6
export PATH=$PATH:$SCALA_HOME/bin

验证
终端输入scala

四、spark安装

官网下载安装包：http://spark.apache.org/downloads.html

解压到指定的目录

tar -xzf spark-2.3.1-bin-hadoop2.7.tgz

配置环境变量（Mac是 ~/.bash_profile）

export SPARK_HOME=/Users/liubowen/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=${PATH}:${SPARK_HOME}/bin

source ~/.bash_profile
打开mac远程登录设置

系统偏好设置 => 共享 => 远程登录

启动
进入spark安装目录下sbin

./start-all.sh

访问spark页面：http://localhost:8080/

五、IDEA配置