Windows安装配置Spark

最新推荐文章于 2025-04-08 10:28:18 发布
原创 最新推荐文章于 2025-04-08 10:28:18 发布 · 218 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #Scala #spark #Hadoop

本文详细介绍如何从零开始搭建Spark环境，包括JDK、Scala、Spark、Hadoop的安装与配置，以及Python开发环境的设置。文章指导读者完成各组件的下载、安装、环境变量配置，并通过spark-shell进行测试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

配置spark之前，先要有jdk和scala环境

下载并安装JDK

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
在这里插入图片描述
下载完双击安装，点击下一步直至安装完
在这里插入图片描述
2.配置环境变量
在这里插入图片描述
打开cmd窗口,输入 java -version
跳出下图的结果表示安装已经成功了
在这里插入图片描述

scala安装

网址:https://www.scala-lang.org/
下载这个版本
在这里插入图片描述
4.安装Scala的msi文件
一直点击下一步安装即可
在这里插入图片描述
完成后会自动添加环境变量,如果没有添加,按jdk的方式添加就行了
重新打开cmd输入 scala
在这里插入图片描述

spark配置

到官网下载spark http://spark.apache.org/
点击download在这里插入图片描述
在这里插入图片描述
选择清华的源下载
在这里插入图片描述
下载后直接解压，配置环境变量
将解压文件夹里的bin目录添加到环境变量
在这里插入图片描述

Hadoop安装

官网下载Hadoop：https://www.apache.org/dyn/closer.cgi/hadoop/common
选择清华大学的镜像源，下载速度会快很多
在这里插入图片描述
我选择的是2.7版本，一定要与spark对应
在这里插入图片描述
在这里插入图片描述
下载完后解压到指定目录、添加环境变量
新建系统变量命名为HADOOP_HOME， 值为Hadoop的解压路径
在这里插入图片描述
在path里添加刚才设置的环境变量
在这里插入图片描述
在命令行输入spark-shell测试spark配置情况
在这里插入图片描述

配置python开发环境

将spark目录下的pyspark文件夹（C:\Spark\python\pyspark）复制到python安装目录python的Lib\site-packages里。如图所示
在这里插入图片描述
使用pip安装py4j

pip install py4j

在这里插入图片描述
添加PYTHONPATH变量
在这里插入图片描述
至此配置结束

windows下安装spark并配置环境变量
Vulpes corsac
10-31 2873
一、下载 Spark下载地址：http://spark.apache.org/downloads.html 点击下图的连接下载 不需安装，直接解压放到想要放到的目录底下。 二、配置环境变量 添加用户环境变量： 1.SPARK_HOME：D:\spark-2.4.3-bin-hadoop2.7 2.在系统环境变量Path增加：%SPARK_HOME%\bin 在控制台输入一下命...
windows下安装配置spark
深海小黄鱼
01-12 2810
安装时一定要注意版本的对应，尤其下载官方scala的编辑器Scala IDE for Eclipse时注意scala版本和java版本，同样是1.8也会有问题，查看它对应的具体哪一个 由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，H
完整的spark安装指南（带图）
10-11
完整的spark安装指南，包含shell命令和步骤图片。
在windows安装部署spark
BusyMonkey
02-22 504
1、下载地址：https://download.youkuaiyun.com/download/dopamy_busymonkey/10970660 2、解压后，配置环境变量： SPARK_HOME= 在PATH中加入 ;%SPARK_HOME%\binl;%SPARK_HOME%\sbin; 3、jdk环境变量脚本修改： 如果使用的是非环境变量的jdk版本，这里添加脚本： set ...
Windows安装Spark
果果的爸爸
06-12 986
系统版本    Spark : 2.3.1    Hadoop : 2.6.0    JDK : 1.8.0_161    Scala : 2.11.8第一步：安装JDK，配置环境变量JAVA_HOME C:\Program Files\Java\jdk1.8.0_161 CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; P...
Spark安装教程Windows版
最新发布
2402_87382235的博客
04-08 711
或者是打开E:\spark\spark-3.0.0-bin-hadoop3.2\文件路径下 bin 目录中的 spark-shell.cmd 文件。然后在系统变量中添加SPARK-HOME（切记弄完这两步要点击确定）1.将spark文件解压缩到无中文无空格的路径中。首先在用户变量的path中添加spark内容。打开cmd窗口输出spark-shell。3，检验是否安装成功。
spark windows 单机 安装
designpc的专栏
07-10 3758
0目标 单机windows上，运行spark 1  前期准备 jdk 1.7  2  下载spark 包 官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,内嵌hadoop2.6，不要要without的 解压到D:\softwar
windows安装配置spark
05-13
以下是在Windows上安装和配置Apache Spark的步骤： 1. 下载和安装Java Spark需要Java 8或更高版本。您可以从Oracle官网或OpenJDK下载Java，然后按照常规步骤安装。 2. 下载和解压Spark 在Apache Spark的官方网站...
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
windows安装配置spark和相关的hadoop，在idea中运行不会出现info的红色提示
03-16
要在Windows上安装和配置Spark和相关的Hadoop，并在IDEA中运行时不出现红色提示，需要按照以下步骤进行操作： 1. 下载和安装Java Development Kit（JDK）和Scala编程语言。 2. 下载和解压缩Hadoop和Spark的二进制...
windows下spark的安装与配置教程
无
10-20 6699
一、安装Scala  下载地址：http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载，我选择的是Scala2.12.0版本。特别注意的是看帖子又的说Scala版本与Spark版本之间是有一定关联的，比如说你的Scala版本是2.12.0，那么就应该下载Spark版本为从1.3.0到Spark 1.6.2之间的各个版本...
windows中安装Spark
蓝色格子ren的博客
07-27 6368
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
Window10 安装pyspark
helllife的博客
10-29 452
纯属个人学习过程中的一点学习记录 1.安装anaconda3(因为我是要是Jupyter 上运行的） 2.conda install pyspark显示错误 但直接pip install pyspark就显示成功了。
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
spark踩坑记——windows环境下spark安装和运行
2201_76100933的博客
06-03 1515
spark踩坑记——windows环境下spark安装和运行
win 10下spark的安装及配置
haokelaicds的博客
04-11 5830
一级标题 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录步骤一、jdk配置二、Hadoop配置三、Spark配置四、scala安装五、运行测试 步骤 提示：以下是本篇文章正文内容，下面案例可供参考 一、jdk配置 在jdk官网中下载与自己电脑相应配置的jdk。 点击电脑的设置——>关于——>高级系统设置——>环境变量中配置jdk环境变量。 点击新建，输入下图中的变量名称，变量值填写你自己安装的jdk目录路径。建好后点击确定 在系统变量中添加 变量名
windows搭建pyspark环境详细教程
小颜颜6035的博客
05-17 4373
将hadoop.dll和winutils.exe均拷贝到D:\hadoop-2.7.1\bin下和C:\Windows\System32下（两个文件各拷贝一份）此时bin目录（D:\hadoop-2.7.1\bin）下可能没有hadoop.dll及winutils.exe文件，接下来安装py4j,在cmd中输入pip install py4j。变量值：D:\spark-3.0.0-bin-hadoop2.7。变量值：D:\jdk 也就是jdk的安装路径。变量值：D:\hadoop-2.7.1。
Windows下安装Spark教程
qq_46394486的博客
04-08 641
官网下载地址：https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz。网盘下载地址：https://pan.baidu.com/s/1VyVLwnSvdMzSocj37xlErQ?历史版本仓库：https://archive.apache.org/dist/spark/本地解压spark文件，目录为 D:\bigdata\spark\2.4.7\。为了验证Spark是否安装成功，开启一个新的cmd窗口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值