M2 MacbookPro配置Spark源码运行环境

最新推荐文章于 2024-10-25 05:15:15 发布
原创 最新推荐文章于 2024-10-25 05:15:15 发布 · 977 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式

本文详细介绍了在MacBook Pro M2上搭建Spark源码调试环境的步骤。包括JDK、Scala、Maven的安装与环境配置，可选的Homebrew、Git安装，Spark源码的下载与编译，以及将源码导入IDEA进行测试和调试，还提及了Antlr插件的安装。

零、版本信息

MacBook：MacBook Pro M2

JDK：1.8.0_381

Scala：2.12.15

Maven：3.6.3

Homebrew：4.1.12（可选，下载Git需要）

Git：2.42.0（下载Spark源码需要）

Spark：3.2.5

整体配置流程参考@来自遥远的水星【Spark源码01【搭建Spark源码调试环境】】

一、JDK安装

参考一站式JDK安装与配置（Windows、MacOS(arm64与inter)、Linux）_zulu jdk_javgo.cn的博客-优快云博客

1，安装地址

Java Downloads | Oracle

 

2，跳过Oracle登录限制

参考jdk下载总需要登录Oracle官网怎么办？_下载jdk要oracle账户_金玉满堂@bj的博客-优快云博客

工具地址：oracle.com passwords - BugMeNot.

3，配置环境

1）查看JDK安装是否成功

java -version

2）查看安装目录

方法一：聚焦搜索 /Library/Java/JavaVirtualMachines

参考

最低0.47元/天 解锁文章
Mac搭建Spark环境
04-25 1394
一、首先搭建hadoop环境 https://xingqijiang.blog.youkuaiyun.com/article/details/78736449 二、安装scala 命令行执行：brew install scala 执行完成后，终端输入：scala -version 进行查看，如下表明安装成功： jiangxingqideMacBook-Pro:~ jiangxingqi$ scal...
Debian 11 编译安装 git 2.42.0（基于 OpenSSL）
kaiyuanheshang的博客
07-23 1159
git 克隆远程仓库时默认使用 gnutls，正常情况下没有任何问题。当使用 gitlab 时，如果把 gitlab 放在代理后面（如：放在 nginx 后面），则可能会出问题。。此时可以通过自己编译使用 OpenSSL 的 git 来解决这个问题。
Git-2.42.0-64-bit-windows安装版
08-26
Git是目前非常流行的分布式版本控制系统，由Linus Torvalds为Linux内核开发而创建，该资源包含 Git-2.42.0-64-bit-windows安装版，仅供学习，下载后请及时删除 Git是目前非常流行的分布式版本控制系统，由Linus Torvalds为Linux内核开发而创建，该资源包含 Git-2.42.0-64-bit-windows安装版，仅供学习，下载后请及时删除 Git是目前非常流行的分布式版本控制系统，由Linus Torvalds为Linux内核开发而创建，该资源包含 Git-2.42.0-64-bit-windows安装版，仅供学习，下载后请及时删除 Git是目前非常流行的分布式版本控制系统，由Linus Torvalds为Linux内核开发而创建，该资源包含 Git-2.42.0-64-bit-windows安装版，仅供学习，下载后请及时删除 Git是目前非常流行的分布式版本控制系统，由Linus Torvalds为Linux内核开发而创建，该资源包含 Git-2.42.0-64-bit-windows安装版，仅供学习，下载后请及时删除
mac spark 配置
woshiliulei0的专栏
12-23 413
一、java配置 二、IDEA配置 1.SDK（java） java版本1.8默认系统安装位置： /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
mac本地搭建Spark
桃花惜春风
09-14 9039
博主建议对于初学者本地先搭个spark环境玩玩，搭建非常容易，平时测试一个小demo非常方便。因为服务器一般情况是只有内部网才能进行访问的，有些时候很不方便。后续会介绍如何在生产服务器上搭建不同模式下的Spark集群。 安装jdk 这个就不详细介绍了，写程序的不会安装jdk那该考虑转行了。网上一搜一大堆。 安装scala 参考： Mac安装Scala 安装Spark ...
在MacBook Pro上设置Java开发环境
01-21
好吧，我去了地球的另一边，并且因为我的PC...在写这篇文章的时候，我的MacBook Pro上运行的是OS X Yosemite Version 10.10.5。 　JDK 　所以先做第一件事，安装Java开发工具包（JDK），这是一个用于开发Java应用和小
macbook pro air windows 驱动
最新发布
05-16
在科技产品领域，MacBook Pro和MacBook Air是苹果公司生产的笔记本电脑系列，以其出色的工业设计、高性能硬件配置以及良好的用户体验受到广大消费者的喜爱。苹果MacBook系列笔记本原生搭载的操作系统为macOS，但随着...
MacBook Pro开发环境配置指南
hebiwen95的博客
08-10 2271
本文章主要记录新购Mac，需要安装的必备软件，由于有多台Mac，用途不一样。公司主力开发电脑家中主力开发电脑公司主力开发电脑，主要功能是开发公司软件研发有关。而且有一些私有的东西，需要符合公司规范。家中主力开发电脑，主要参与开源社区开发以及个人创作，涉及社区和个人创作内容，软件栈相对自由。故此，记录一下Mac做为主力开发程序电脑，必备提升效率软件利器，工具选得好，下班下得早。...
MacBook Pro 安装anaconda与配置环境
芒果奶昔
09-27 2509
1.下载安装包 官网网址：https://www.anaconda.com/products/individual#macos 2.安装 mac上弹出不允许在当前路径安装，选择自定义安装路径，（我在/Users目录下新建一个叫做software的文件夹，作为安装路径。 看到”Thank you for installing Anaconda!”就安装完成了。 3.终端测试 打开mac终端，输入 conda --version 返回是 conda command not found 此时需要把anacon
Mac上搭建spark开发环境
weixin_34326558的博客
08-23 289
本文将介绍在Mac os上搭建Spark开发环境。 在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。 (1)首先下载开发IDE，目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用，下载地址：https://www.jetbrains.com/idea/。(2)Spark环境搭建：mac上启动终端，使用brew instal...
spark mac 版本
01-19
spark mac 版本spark mac 版本spark mac 版本spark mac 版本spark mac 版本
mac环境下安装spark-2.3.2
superY_26的博客
01-09 3311
本文仅记录在MacBook Pro M1型号上安装 JDK8、Hadoop-2.6.5、spark-2.3.2
Mac 系统 搭建Spark数据挖掘平台（含Scala）
Zweixun_SJTU的博客
06-11 1407
Mac 系统 搭建Spark数据挖掘平台（含Scala）近期该做一个数据挖掘课程的大作业，要求搭建Spark平台实现算法，自己搭建的时候踩了一些坑，同时也感觉所找到的一些博客写的不太详细或是有些容易产生误导的地方，决定自己写一篇Mac系统下Spark软件搭建的博文，与大家交流分享下。由于写技术分享博客对我来说是“大姑娘上花轿--头一回”如果有写的有误或是表述不清的地方，还请谅解，并在评论区为我留下...
在Mac上安装Spark apache-spark-3.5.1
m0_66807384的博客
04-11 2324
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
Mac 配置Hadoop、spark、Scala、jdk
hjjhjji的博客
03-17 2388
注意：如果后面有进程没有启动成功时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。下载安装（此用到的是2.12版本)
Mac spark环境搭建（idea版本）
weixin_60796523的博客
04-26 1174
开发工具：IntelliJ IDEAmaven版本：3.8.1。
Mac安装Spark并运行SparkPi
zhangvalue的博客
01-14 920
Mac安装Spark2.4.7 https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz 解压tgz文件 tar xvf spark-2.4.7-bin-hadoop2.7.tgz 先创建scala项目并进行编译打成jar包 然后就打好成了本地的jar包 打包一个jar包通过sparksubmit提交 ./bin...
Mac安装Spark
weixin_45911156的博客
10-25 859
这将启动一个 Python 交互式的 Spark Shell。Step 1: Spark需要Java运行环境，需要先安装JDK。这将启动一个 Scala 交互式的 Spark Shell。Step 1: 启动 Spark Shell。Step 1: 编写 PySpark 脚本。Step 2: 运行 PySpark 脚本。Step 3: 解压 Spark 压缩包。Step 2: 启动 PySpark。Step 2: 下载 Spark。Step 4: 配置环境变量。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值