mac系统spark环境搭建

本文介绍如何搭建Spark开发环境,包括所需工具JDK、Scala及Spark的安装与配置过程,并详细说明了环境变量的设置方法及如何启动Spark Master与Workers。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

所需工具

1.jdk

2.scala
下载地址:scala官网下载

scala版本下载需注意,后期idea编译可能导致报错,scala版本和spark版本存在一些兼容性问题


spark开发语言支持scala、java和python,推荐scala,因为spark源码就是scala,后期可以为研究源码打基础

3.spark

下载地址:spark官网下载

配置环境变量
vi ~/.bash_profile

追加

export SCALA_HOME=/usr/local/Cellar/scala
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/lv/spark/spark-2.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
source ~/.bash_profile

验证:

scala -version
spark -version
spark

启动

./sbin/start-master.sh

访问spark本地web:http://localhost:8080

停止

./sbin/stop-master.sh 

添加workers

域名端口号为spark的本地web页面上显示

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077

添加完成后刷新web页面,workers下就会有相应的worker

中止该worker只需control+c。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值