mac下搭建pyspark环境

最新推荐文章于 2025-02-18 12:04:34 发布

原创

最新推荐文章于 2025-02-18 12:04:34 发布 · 2.5k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #apache spark

本文介绍了在mac操作系统中如何搭建PySpark环境，包括安装JAVA JDK、Scala、apache-spark、Hadoop（可选）和pyspark，并通过brew进行便捷安装。还提供了配置环境变量的步骤以及在Jupyter Notebook中使用PySpark的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在mac下搭建pyspark需要安装的有：

1.JAVA JDK
2.Scala
3.apache-spark
4.Hadoop(可选)
5.pyspark

安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式。

如果你的电脑上没有安装brew的话，可以参考下面这篇文章进行安装brew，还是比较方便的。
https://www.jianshu.com/p/7ef9e0e4d3c2

只需要简单的使用

brew install scala
brew install apache-spark
brew install hadoop

安装完毕之后可以选择配置环境变量
使用vim ~/.bash_profile进入环境变量配置文件以设置环境变量
具体如下：

  # HomeBrew
   export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles
   export P

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wapecheng

关注关注

5
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Mac 平台上安装 Python 3 和 PySpark 大数据

pytorchCode的博客

08-27

460

通过按照以上步骤，在 Mac 平台上安装了 Python 3 和 PySpark 大数据环境。PySpark 是 Apache Spark 的 Python API，可以用于处理大规模数据集。在 Mac 平台上安装 Python 3 和 PySpark 大数据环境非常简单。Homebrew 是一个包管理器，可以帮助我们在 Mac 上安装和管理各种软件包。为了方便使用 Python 3，我们需要将它添加到系统的环境变量中。来验证是否成功安装了 Python 3，并显示当前版本号。

How to Install PySpark on Mac(Mac上安装PySpark)

u011868279的博客

05-09

1637

How to Install PySpark on Mac(Mac上安装PySpark)

参与评论您还未登录，请先登录后发表或查看评论

Mac 安装 Pyspark

zbchenchanghao的博客

11-07

660

在Mac下搭建Pyspark需要安装： Java JDK Scala apache-spark Hadoop Pyspark 安装的两种方式 1.官网下载安装包，解压后配置环境变量 2.使用brew进行安装 /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)" 2-1.使用brew安装所需包 brew install scala brew install apach

Python搭建Spark环境（Mac）

weixin_52260515的博客

10-25

395

打开Users/xxx文件夹，创建名为env的文件，并把下载好的文件解压移至其下。点击ESC键退出编辑模式。然后在行末（注意一定要用英文键盘）输入。我这里还需要安装java，安装成功后再更新分享。判定环境配置有没有成功。我这里报错了，具体如下图所示。

Spark ｜ PySpark的安装及配置（Mac）

weixin_43068406的博客

03-19

810

下载安装JDK JDK Download 下载安装spark Spark Download 配置环境变量打开Terminal nano .bash_profile setting path for spark 如图所示，添加下面几行 export SPARK_PATH=~/spark-3.0.0-preview2-bin-hadoop2.7 export PYSPARK_DRIVER_PYT...

Mac 搭建 pyspark各类疑难杂症解决

fu十一的主页

01-30

850

安装所需要的包：参考这几篇文章进行安装需要的包 MAC OS 如何安装 PySpark mac下搭建pyspark环境 Installing Apache Spark on Mac OS 在安装以下文件时都出现了一些小问题，解决方案写在了后面 brew install scala brew install apache-spark brew install hadoop Install AdoptOpenJDK 8 with Homebrew Cask 其中安装 apache-spark 时告诉我有

Pyspark 安装(Mac M2版)

Lian_Ge_Blog的博客

01-18

1346

本文主要介绍Macos 系统如何本地安装 pyspark 以及安装过程中遇到的问题和解决方法，仅供参考

PySpark环境搭建全攻略：一步到位的集群配置

PySpark简介与环境需求 ## 1.1 PySpark的定义与特性 PySpark是Apache Spark的Python API，它为Python用户提供了一种简单易用的方式来实现大数据处理和分析。借助PySpark，开发者可以利用Python强大的数据处理库...

pycharm编写spark程序，导入pyspark包的3中实现方法

09-18

然后将该目录下的pyspark文件夹复制到系统的Python库目录中，例如在Mac系统上，这个路径通常是“/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages”。复制完成后，在PyCharm中就可以...

mac 安装pyspark+anaconda+jupyter

acceptedemmm的博客

01-03

1322

win老玩家新入了m1,拿之前课上安装pyspark的教程熟悉下命令行:) 1. 安装Homebrew: " /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 2. 安装python3: "brew install python3" 3. 安装scala："brew install scala" 4. 安装spar...

在mac上安装下pySpark，并且在pyCharm中python调用pyspark

helloxiaozhe的博客

10-13

9858

在mac上安装下pySpark，并且在pyCharm中python调用pyspark。目前用python比较多，所以想安装下pySpark，并且在pyCharm中调用。 Windows安装pySpark，并且在pyCharm中调用例子参见网址 ython 利用pyspark 直接在本地操作spark，运行spark程序

使用python进行深度学习的环境配置流程

Childhood_Sweetheart的博客

10-10

1078

今天重新的配置了一下用python进行深度学习的环境，主要分为以下几步 1、python的安装，可以直接到python的官网进行安装，我是安装的python3.6.4 2、安装完python之后，我下载了pycharm的社区版本 3、cuda的安装，cuda的版本为10.1 进入这个地址 https://developer.nvidia.com/cuda-toolkit-archive ，可以下载旧版本具体按安装过程可以参考B站的教程 4、cudnn的下载，cudnn的...

MAC系统下安装pyspark

weixin_43732906的博客

11-16

2179

在mac下搭建pyspark需要安装的有： 1.JAVA JDK 2.Scala 3.apache-spark 4.Hadoop(可选) 5.pyspark 安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式以下介绍brew的安装方式如果你的电脑上没有安装brew的话，你只需在终端要执行以下步骤：从这里下载java-jdk后解压安装即可，剩下的通过brew工具都可以安装安装brew /bin/zsh -c "$(curl -fsS

mac 下使用pyspark

l_ibrary的博客

06-08

480

pyspack --master 以后默认为python的2.7版本使用: export PYSPARK_PYTHON=python3 将其设置为python3的版本

MAC+Anaconda+Pyspark安装配置

读万卷书行万里路

11-30

3169

到Apark Spark官网上下载Spark文件，无论是windows系统，还是MAC系统，亦或者Linux系统，都可以下载这个文件(独立于系统)。

Mac pySpark IDE 环境配置

偷闲小苑

12-13

1660

本地配置 pyspark 开发环境开发工具 Java spark-2.3.0-bin-2.6.0-cdh5.7.0 PyCharm 配置 PyCharm Configuration Run -&amp;amp;amp;amp;amp;amp;gt; Edit Configurations -&amp;amp;amp;amp;amp;amp;gt; Configuration -&amp;amp;amp;amp;amp;amp;gt; Environm

mac安装Pyspark并连接Mysql

Abraham Ben

02-18

426

注意不要自己另外安装jdk, 会造成版本对不上报错。的过程中会自动安装openjdk。将下载的解压包中的jar文件拷贝到。注意jdk版本不对会造成。

MAC/window之最简单安装单机版pyspark

人生百态361

06-06

649

第一步删除已有的卸载 Oracle JDK，如果没有安装 Oracle JDK可以直接进入第二步。卸载Oracel JDK如何在 Mac 上卸载 Java？如何在卸载 Java 后删除 Java 部署高速缓存？第二步安装Java ，我装的openjdk,连接地址如下 https://adoptopenjdk.net/?variant=openjdk8&jvmVariant=hotspot 下载后，双击点击，一直按下去就可以安装成功然后打开iTerm输入 java -ve.

Mac 配置Hadoop、spark、Scala、jdk

hjjhjji的博客

03-17

2287

注意：如果后面有进程没有启动成功时，切记查看进程（在安装目录下的 logs 目录），然后有关没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。下载安装（此用到的是2.12版本)

Spark的环境搭建