Spark简要教程系列（一） Mac安装Spark

最新推荐文章于 2025-06-26 15:45:31 发布
最新推荐文章于 2025-06-26 15:45:31 发布
阅读量9k 收藏 11
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Spark简要教程 文章标签： spark mac jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a595130080/article/details/53350076
本文详细介绍了在Mac上安装Spark的简易步骤，包括安装JDK、下载与解压Spark、简单测试Spark Master和Worker的启动与关闭，旨在为用户提供清晰的操作流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark的安装大多比较麻烦，而Mac安装Spark非常简单，本文分三部分内容。
1. 安装JDK
2. 安装Spark
3. 简单测试

1. 安装JDK

（1）进入官方下载页面
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

（2）在下载列表里选择Mac OS X（这个版本傻瓜式安装。。。。），点Accept License Agreement ， 然后就可以点击下载了

这里写图片描述

（3）下载完成后移动到你想存放的文件夹，然后双击安装就可以了。。。
打开终端，输入java -version

这里写图片描述

真的安装好了。。。。。

2. 安装Spark

（1） 进入下载页面 http://spark.apache.org/downloads.html

这里写图片描述

（2） 前3个下拉框选择合适的版本（一般选择最新的版本就行）

（3） 在4中

最低0.47元/天 解锁文章

200万优质内容无限畅学
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
Mac安装Spark
Evankaka的专栏
07-30 4734
一、安装scala 1、下载taz包 进入http://www.scala-lang.org/download/ 下载后解压 2.配置环境变量 Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。 /etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个） .bash_profile 文件的路径是在当前用户下。 vim ~/.bash_...
mac本地搭建Spark
桃花惜春风
09-14 8910
博主建议对于初学者本地先搭个spark环境玩玩，搭建非常容易，平时测试一个小demo非常方便。因为服务器一般情况是只有内部网才能进行访问的，有些时候很不方便。后续会介绍如何在生产服务器上搭建不同模式下的Spark集群。 安装jdk 这个就不详细介绍了，写程序的不会安装jdk那该考虑转行了。网上一搜一大堆。 安装scala 参考： Mac安装Scala 安装Spark ...
mac os安装spark
slibra_L的博客
11-21 701
最近由于需要使用本机环境运行spark，所以进行了spark的安装， 记得当年（2017年）装spark的时候折腾了几个小时才装好，没想到现在安装的流程这么简单， 1. 下载安装包 http://spark.apache.org/downloads.html 这里我选的是spark-2.4.7-bin-hadoop2.7.tgz 2. 安装 cd /usr/local mv ~/Downloads/spark-3.0.0-preview2-bin-hadoop2.7.tgz ./ # 下载sp
Spark实战指南：从入门到精通
最新发布
2401_84585736的博客
06-26 1006
text数据分区：合理设置分区数（建议每个分区128MB）避免数据倾斜：使用盐化技术或自定义分区器内存管理：合理配置内存比例（持久化策略：根据数据使用频率选择存储级别广播变量：小数据集使用广播减少网络传输检查点机制：流处理中定期保存状态监控调优：利用Spark UI分析性能瓶颈。
mac下Spark的安装与使用
weixin_30929195的博客
10-11 526
每次接触一个新的知识之前我都抱有恐惧之心，因为总认为自己没有接触到的知识都很高大上，比如上篇介绍到的Hadoop的安装与使用与本篇要介绍的Spark,其实在自己真正琢磨以后才发现本以为高大上的知识其实也不过如此。 由于Spark是最新火起来的处理大数据的框架，国内教程资源少之甚少，所以本篇文章是本人在看了Spark官网的快速入门教程后总结下来的经验，由于Spark同Hadoop一样可以运行在多种...
Mac 安装 Spark
weixin_39149333的博客
10-31 873
一、安装 Hadoop 和 Scala。Scala 安装地址。Hadoop安装地址。二、安装 Spark。三、配置 Spark。四、测试 Spark。
Spark大数据技术（Scala）小白教程（一)——大数据技术概述以及环境配置
weixin_68955195的博客
03-13 1577
Apache Spark 是一个基于内存计算的大数据处理框架，提供了高性能和灵活性，支持多种数据处理模式。Spark 提供了丰富的 API，包括 Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和 GraphX（图计算库），使得用户可以方便地进行数据处理、数据分析和机器学习等任务。
hadoop3.x+scala+spark-mac血泪安装经验！！
weixin_42766102的博客
02-28 998
hadoop3.x+scala+spark-mac血泪安装经验！！总结：hadoop3.x 安装踩坑填坑配置环境变量(hadoop3+scala+spark)scala安装spark安装 总结： 最折腾的步骤是在hadoop的安装，我尝试安装了4次，前两次直接用brew install hadoop+其他博客上的安装教程，后面两次直接按照hadoop官网说的安，第三次是因为我安装在/usr/loc...
Spark大数据技术（Scala）小白教程（一)——大数据技术概述以及环境配置_spark scala教程
2401_84182936的博客
05-03 674
Apache Spark 是一个基于内存计算的大数据处理框架，提供了高性能和灵活性，支持多种数据处理模式。Spark 提供了丰富的 API，包括 Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和 GraphX（图计算库），使得用户可以方便地进行数据处理、数据分析和机器学习等任务。
spark_2_8_3 mac版
02-26
费了好大力气从官网下载的spark，存放在这里供大家使用
mac系统spark环境搭建
Maxi的专栏
03-24 1242
所需工具1.jdk2.scala 下载地址：scala官网下载scala版本下载需注意，后期idea编译可能导致报错，scala版本和spark版本存在一些兼容性问题 spark开发语言支持scala、java和python，推荐scala，因为spark源码就是scala，后期可以为研究源码打基础 3.spark下载地址：spark官网下载配置环境变量vi ~/.bash_profile追加ex
MAC下安装Spark
yamaxifeng_132的专栏
02-08 497
安装JDK与Scala
【大数据】Mac下安装hadoop-scala-spark，java开发三层架构
m0_64205605的博客
11-19 1477
2、安装hadoop (1)配置ssh：ssh-keygen -t rsa   =>  一直enter  =>  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys =>  确认mac已关闭防火墙和开启远程登录(系统偏好设置下：安全与隐私=>防火墙 关闭 ；共享 => 远程登录 打钩) (2) 【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实
Mac单机Hadoop2.7下安装Spark2.2+配置SparkSQL查询Hive表+spark-sql CLI 查询
hjw199089的博客
01-11 2683
下面简单记录mac单机spark安装测试的过程 已安装好单机的伪分布式Hadoop，见Mac单机Hadoop安装备忘 已安装好单机的hive，见Mac-单机Hive安装与测试 单机Mac安装spark并做简单yarn模式shell测试 配置SparkSQL查询Hive spark-sql CLI 查询Hive 一、安装Spark 1-下载安装scala https://
Spark的安装（基于Mac）
AcceptedLin的博客
08-25 2万+
Spark的安装（基于Mac） 一、简介 1.1内容 在mac电脑上成功安装spark（不用预先安装hadoop），并在jupyter上使用pyspark来操作spark。 1.2 知识点 jdk的安装 spark和pyspark的安装 虚拟环境的内核 1.3 环境 本文所有的环境变量是在.bash_prof...
Mac下安装spark及pyspark
sinat_40875078的博客
01-31 1587
1、Mac配置python环境变量 Mac安装python，配置python环境变量。安装python后,在环境变量path中加入安装的路径，cmd中输入python，检验python是否安装成功。
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Spark的环境搭建
02-26
Spark是一个高效的分布式计算框架，用于处理大规模数据集。下面简要介绍如何在本地环境中搭建Spark。 ### 一、准备工作 #### （一）JDK安装 由于Spark是基于Java开发的，因此首先需要确保计算机上已经正确配置了JDK环境，并设置好JAVA_HOME等系统变量。 #### （二）Scala下载与安装（可选） 虽然现在大多数版本的Spark自带了Scala库文件，但如果想要运行特定版本，则仍需单独下载并安装对应版本的Scala语言工具包。 ### 二、获取Apache Spark软件包 可以直接从官方网站https://spark.apache.org/downloads.html选择合适的稳定版进行下载；如果是在企业内部网络环境下部署的话，也可以通过公司提供的镜像源地址来加快下载速度。 ### 三、解压并配置环境变量 将压缩包上传到目标机器后，在Linux或Mac OS X平台上可以利用tar命令快速完成解压缩工作： ```bash tar -xzf spark-x.x.x-bin-hadoopx.x.tgz ``` 接着修改.bashrc文件添加SPARK_HOME以及PATH路径： ```bash export SPARK_HOME=/path/to/spark-directory export PATH=$SPARK_HOME/bin:$PATH source ~/.bashrc #刷新环境变量使之生效 ``` 对于Windows用户来说则应该把相应的目录加入系统的Path列表里头去。 ### 四、启动测试实例验证是否成功 打开终端输入`pyspark` 或者 `spark-shell`(取决于你使用的主程序编写脚本的语言)，如果没有报错就说明基本可用啦！ 以上就是在普通PC端建立单节点模式下的简易步骤，实际生产场景下还需要考虑集群管理组件如Hadoop YARN/Zookeeper/Kubernetes的支持情况哦~
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值