Mac中使用brew更新Spark至3.2.0

最新推荐文章于 2025-09-05 13:43:49 发布
原创 最新推荐文章于 2025-09-05 13:43:49 发布 · 2.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文档介绍了如何在Mac系统中通过brew更新Apache Spark到3.2.0版本。首先，由于权限问题遇到错误，解决方案是使用sudo chown命令更改目录权限。然后，通过brew安装最新版Spark。安装完成后，确定Spark的安装路径，并在.base_profile文件中设置相关环境变量和别名以方便使用。最后，验证spark-shell确保更新成功。

Mac中使用brew更新Spark至3.2.0

当前Mac中安装的spark版本比较旧为2.3.0

在这里插入图片描述

使用brew install spark

在这里插入图片描述

出现问题：

在这里插入图片描述

Error: Permission denied @ apply2files - /usr/local/lib/docker/cli-plugins

解决方法：

sudo chown -R $(whoami) $(brew --prefix)/*

在这里插入图片描述

下载apache-spark

brew install apache-spark

在这里插入图片描述

https://ghcr.io/v2/homebrew/core/apache-spark/manifests/3.2.0

Spark3.2.0的安装路径

/usr/local/Cellar/apache-spark/3.2.0

在这里插入图片描述
在这里插入图片描述

相关配置文件都在.base_profile

在这里插入图片描述

在这里插入图片描述

export SPARK_HOME=/usr/local/Cellar/apache-spark/3.2.0
export PATH=$PATH:$SPARK_HOME/bin
alias start-spark='$SPARK_HOME/libexec/sbin/start-all.sh'
alias stop-spark='$SPARK_HOME/libexec/sbin/stop-all.sh'

验证一下spark-shell

在这里插入图片描述

MacOS上搭建Spark环境
好记性不如烂笔头
05-15 1552
安装JDK 没有安装的直接去Oracl官网下载相应的JDK版本安装即可。 安装过JDK，可以使用下面命令查看当前安装了哪些JDK版本。 /usr/libexec/java_home -V 下面是笔者机器上安装的JDK版本，已经当前正在使用的版本。 $ /usr/libexec/java_home -V Matching Java Virtual Machines (2): 11.0.14 (x86_64) "Oracle Corporation" - "Java SE 11.0.14" /Libr
hadoop3.x+scala+spark-mac血泪安装经验！！
weixin_42766102的博客
02-28 1014
hadoop3.x+scala+spark-mac血泪安装经验！！总结：hadoop3.x 安装踩坑填坑配置环境变量(hadoop3+scala+spark)scala安装spark安装 总结： 最折腾的步骤是在hadoop的安装，我尝试安装了4次，前两次直接用brew install hadoop+其他博客上的安装教程，后面两次直接按照hadoop官网说的安，第三次是因为我安装在/usr/loc...
mac下spark安装
maenda的博客
03-12 1656
安装环境 macOS 10.13第一步：安装 scala 命令行安装方式：brew install scala验证：$ scala显示：Welcome to Scala version 2.11.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_40).Type in expressions to have them evaluated.Type :...
国内拉起gcr.io的镜像以解决“Error response from daemon: Get https://gcr.io/v2/”问题
ibless的博客
09-06 1万+
国内拉起gcr.io的镜像以解决“Error response from daemon: Get https://gcr.io/v2/”问题1 问题2 解决方案 1 问题 在Kubernetes集群中用Helm安装spark operator是遇到了ImagePullErr的错误，使用kubectl describe pods xxx发现是因为无法拉取gcr.io/spark-operator的镜像。 2 解决方案 解决方案参考链接。按照文章中的操作，最后得到了下图的结果： 之后按照图中的操作到自己的本地
突破解决brew install无法访问国内网络问题
敏叔
10-14 2515
使用mac的同学都会经常使用brew 工具安装,我本来是需要安装一下ffmpeg来着，我就执行以下命令这种情况还是好的，是安装慢，但是啊，好不容易下载完成后面伴有下面这种提示安装失败，死活也安装不了。。。
Mac安装Spark
人不风流枉少年
02-25 4828
安装scala brew install scala scala -version 配置环境变量 export SCALA_HOME=/usr/local/Cellar/scala-2.13.1 export PATH=$PATH:$SCALA_HOME/bin 安装spark brew install spark 配置环境变量 export SPARK_HOME=/usr/loca...
在Mac上安装Spark apache-spark-3.5.1
m0_66807384的博客
04-11 2325
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
spark环境运行程序遇到几个坑
David的专栏
07-17 4919
1.mac下brew安装spark，运行spark-shell或start-all.sh提示spark-config start-master.sh等找不到 建议在spark.apache.org/download.html下载压缩文件，在本地解压后修改环境变量即可。 brew安装的spark，sbin目录在安装目录的libexec下面，运行脚本都是在安装目录／sbin下寻找，如此就会出现运行
Spark简介与安装指南
- **速度快**：Spark使用了内存计算和弹性分布式数据集（RDD），使得它比Hadoop等批处理框架执行速度更快。 - **易用性**：Spark提供了丰富的API，支持多种编程语言，如Java、Scala和Python。它还提供了交互式的Shel
41、PySpark安装与使用指南
最新发布
palm99的专栏
09-05 82
本文详细介绍了在macOS和GNU/Linux（包括WSL）系统上安装和配置PySpark的步骤，涵盖了Java、Spark、Python的安装与环境配置，以及如何通过IPython和Jupyter Notebook使用PySpark。此外，还介绍了如何在AWS、Azure、GCP和Databricks等主流云平台上使用PySpark，并提供了Databricks的具体使用流程和注意事项，帮助用户快速搭建并运行Spark环境进行数据处理和分析。
MAC下安装SPARK
l_ibrary的博客
06-07 1441
@MAC 下安装Saprk 参考: https://cloud.tencent.com/developer/article/1423508 1.搭建hadoop 2.执行:brew install scala 终端执行:scala -version查看是否安装成功 命令行输入: vim ~/.bash_profile 增加环境变量 export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本) export PATH=PATH:PATH:PAT
macOS spark的安装与运行
热门推荐
hil2000的专栏
06-03 1万+
1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html 2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了 3.单击download spark后的连接，下载...
mac下升级框架sparkle
冯建华的专栏
04-01 2314
mac下的升级框架sparkle, 省去了很多的开发成本 如图效果   网站地址 http://sparkle.andymatuschak.org/ 源码地址 https://github.com/andymatuschak/Sparkle/tree/master 源码拿到后，需要简单修改才能使用 1. 打开ConfigCommon.xcconfig文件 找到SDKROOT, 将其...
mac下安装配置Spark
岸芷汀兰
03-08 3571
安装scala参考陋室 1. 解压scala到/usr/local/share/scala下 2. 配置scala环境变量 sudo su vi etc/profile 添加 export PATH=”$PATH:/usr/local/share/scala/bin”配置Spark参考
【Hadoop／Spark】Hadoop、Spark安装详解
roguesir的博客
10-24 2701
Hadoop、Spark安装详解
Mac 下面做自己动更新 使用sparkle.framework
ch_soft的专栏
10-10 2759
parkle 动作很简单， 1. 检测你在软件里定义的plist升级文件，比较网站上该软件有最新版本号和当前运行版本号。如果有新版本号提示用户 2. 如果用户点确定下载新软件包 3. 解压，替换程序 4. 重启动程序 这步骤基本已经是Mac下软件升级的标准步骤了。
brew 查看spark版本
weixin_34618526的博客
06-29 242
通过brew查看Spark版本 Apache Spark是一个快速的通用计算引擎，可用于大规模数据处理。如果您在macOS上使用Spark，您可能会使用Homebrew来安装和管理软件包。在本文中，我们将介绍如何使用brew命令来查看您计算机上安装的Spark版本。 什么是Homebrew？ Homebrew是一个macO...
开源框架：Sparkle for macOS软件版本自动更新产品实践
群鸿
01-12 3850
Sparkle是一个非常简单且易用的macOS应用程序更新框架，目前众多知名macOS App都在使用，包括微信、迅雷等，如下图： 官网地址：https://sparkle-project.org/ Github：https://github.com/sparkle-project/Sparkle 原理：提前在服务器配置好的xml文件，然后每次启动后解析xml，查看是否有比当前版本新的数据，有的话提示更新，注意检查的是Build，即CFBundleVersion的值。 具体操作如...
mac环境下使用brew安装配置本地spark
07-02
### 安装 Homebrew Homebrew 是 macOS 上的软件包管理器，用于在 Mac（macOS）上安装第三方软件包，如 Java 和 Apache Spark。为了使用 Homebrew，首先需要通过以下命令来安装它： ```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` 安装完成后，可以通过 `brew help` 命令查看帮助信息以确认是否成功安装 [^2]。 ### 安装 Apache Spark 安装完 Homebrew 后，可以使用其命令行工具直接安装 Apache Spark。Spark 通常依赖于 Java 环境，因此需要确保系统中已安装合适的 JDK 版本。推荐安装 Java 11 或更高版本，以便兼容最新版本的 Spark [^3]。 执行以下命令安装 Spark： ```bash brew install apache-spark ``` 这将自动下载并配置 Spark 的基本运行环境。安装完成后，Spark 默认会安装到 `/usr/local/Cellar/spark/` 目录下 [^4]。 ### 配置环境变量 为了能够全局访问 Spark，需要配置环境变量。`.zprofile` 文件是 macOS 中用于用户登录时加载环境变量的文件，可以在其中添加 Spark 和 Java 的路径，以便终端能够识别这些工具 [^5]。 编辑 `.zprofile` 文件： ```bash nano ~/.zprofile ``` 添加以下内容以设置环境变量： ```bash export SPARK_HOME=/usr/local/opt/spark/libexec export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin ``` 保存后退出编辑器，并运行以下命令使配置生效： ```bash source ~/.zprofile ``` 这样，就可以在终端中直接使用 `spark-shell`、`pyspark` 等命令启动 Spark 交互式环境或 Python API 接口 。 ### 验证安装 执行以下命令验证 Spark 是否安装成功： ```bash spark-shell --version ``` 或者启动 PySpark： ```bash pyspark ``` 如果能正常进入交互式界面，则说明本地 Spark 环境已经成功部署并配置完毕 [^3]。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhangvalue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值