一、安装scala
1、下载taz包
进入http://www.scala-lang.org/download/
下载后解压
2.配置环境变量
Mac修改 .bash_profile 文件,此文件是mac 当前用户的环境配置文件。
/etc/profile 是当前系统的环境配置文件(Linux,系统可修改这个)
.bash_profile 文件的路径是在当前用户下。
vim ~/.bash_profile
//添加如下信息
export SCALA_HOME=/usr/local/share/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
3.检验结果
在终端输入scala 命令,进入scala解释器,然后输入1+2,查看计算结果。
如下图说明安装成功:
输入
:q
或
:quit
二、安装spark
要本地安装spark不必要用到scala!要本地安装spark不必要用到scala!要本地安装spark不必要用到scala!要本地安装spark不必要用到scala!
1、下载
http://spark.apache.org/downloads.html
笔者下载的是spark-2.2.0-bin-hadoop2.7.tgz
2、解压
tar -xvzf spark-2.2.0-bin-hadoop2.7.tgz
3、 启动
cd /usr/local/share/spark-2.2.0-bin-hadoop2.7/sbin
sh start-master.sh
验证启动,打开浏览器。
http://localhost:8080
4、跑个实例
回到浏览器的“http://localhost:8080/”页面,页面中显示了sprak的地址:
Spark Master at spark://linbingwendeMacBook-Pro.local:7077
这个网址就是spark任务运行时和网址和端口
输入如下:
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
然后http://localhost:8080 在“Workers”列表下赫然出现了你的第一个子嗣。其状态State为ALIVE。表示它正在运作。这时候你需要记住,当前Terminal的窗口对应就是那个刚加入的Worker Id。
结束任务
“Ctrl + C”就行了。
5、结束整个spark
和启动主机一样,在主文件夹路径下输入相应命令即可。
./sbin/stop-master.sh
这时http://localhost:8080/ 刷新后就是空网页了。