Windows 安装Spark 环境

最新推荐文章于 2024-06-17 11:15:39 发布
原创 最新推荐文章于 2024-06-17 11:15:39 发布 · 534 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Bigdata

本文介绍如何通过清华大学的镜像站点加速下载Apache Spark，并提供详细的环境配置步骤，包括解压安装、设置环境变量及验证安装。

1.下载地址 使用国内镜像源，下载速度大大提升

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/

2.配置环境

解压到指定目录

添加环境变量

SPARK_HOME

内容为解压的目录 

C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\

Path 里 添加

%SPARK_HOME%\bin;%SPARK_HOME%\sbin

验证  cmd spark-shell

windows配置spark开发环境
chaney的博客
04-15 3288
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
【Spark】【Spark软件 的下载 】
wq6qeg88的博客
02-17 1868
选择Spark版本：3.5.0 (Sep 13 2023) 3.5.0（2023年9月13日）3.4.2 (Nov 30 2023) 3.4.2（2023年11月30日）请注意，Spark 3通常是用Scala 2.12预构建的，Spark 3.2+提供了Scala 2.13的额外预构建发行版。在决定使用之前，请参阅安全页面，了解可能影响您下载的版本的已知问题列表。随着每个开发流的新Spark发布，以前的版本将被存档，但它们仍然可以在Spark发布存档中获得。请访问发行说明以了解新功能，或立即下载发行版。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.youkuaiyun.com/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
windows搭建spark环境
qq_25091649的博客
10-21 4329
windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装
windows下安装spark运行环境
ambitionless的专栏
04-03 527
scala运行环境安装 jdk安装 jdk安装1.8，详细安装过程省略，路径最好不带空格，不然会导致后面hadoop安装失败 scala安装 安装scala2.11（2.12spark包maven仓库中找不到） hadoop安装 github地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/b...
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
windows下安装spark并配置环境变量
Vulpes corsac
10-31 2895
一、下载 Spark下载地址：http://spark.apache.org/downloads.html 点击下图的连接下载 不需安装，直接解压放到想要放到的目录底下。 二、配置环境变量 添加用户环境变量： 1.SPARK_HOME：D:\spark-2.4.3-bin-hadoop2.7 2.在系统环境变量Path增加：%SPARK_HOME%\bin 在控制台输入一下命...
windonws下spark的安装(最新安装)
m0_57382185的博客
10-30 6397
spark超详细安装步骤 （1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略； （2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 4442
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
Spark3.1.2 Docker镜像资源
01-29
Docker制作Spark3.1.2镜像 步骤一：docker build -t registry/spark:3.1.2 -f kubernetes/dockerfiles/spark/Dockerfile . 步骤二：docker images查看镜像 步骤三：导出镜像 docker save -o spark3.1.2.tar registry/spark:3.1.2
Spark最全操作完整示例代码下载地址.txt
08-06
Spark最全操作完整示例代码下载地址,有需要的赶紧下载！！！
SPARK2.3.2
10-10
Spark2.3.2安裝包.。。
win7 安装spark环境
AntKengElephant的博客
06-01 547
前提条件： jdk：java -version scala：scala java-1.8 scala-2.11 安装好并且配置好环境变量 官网下载spark版本 对应的hadoop下载解压 解压后启动进入spark-shell交互环境 出现找不到winutils 去https://github.com/steveloughran/winutils 下载将winutils替换到...
Windows下单机安装Spark开发环境
tianyeshiye
02-08 354
机器：windows 10 64位。Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.8，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.8”，视自己安装路劲而定。同时在系统变量Path下添加C:\Program Files\Java\jdk1.8\bin和C:\Program Files\...
spark踩坑记——windows环境下spark安装和运行
2201_76100933的博客
06-03 1650
spark踩坑记——windows环境下spark安装和运行
在Windows下搭建Spark环境
共勉
04-26 1690
安装jdk配置jdk环境变量 参考：单击前往 安装Scala及配置 在官网当中进行下载：https://www.scala-lang.org/ 单击download后，可以在最下面看到版本信息：选择Scala的msi版本，单击下载。 下载完成后单击运行就会进入到安装界面，一直下一步安装即可。 在cmd当中需要看一下输入scala后是否可以进行scala； 如果不能进入，大概就是在安装的时候没...
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 4005
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
windows安装spark
最新发布
weixin_41046245的博客
06-17 977
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值