win 10 安装单点Spark+Hadoop+Python环境

最新推荐文章于 2025-04-08 11:00:55 发布
原创 最新推荐文章于 2025-04-08 11:00:55 发布 · 535 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hadoop #python #大数据

本文提供了Python、Java、Spark、Hadoop及Scala等软件的版本信息与下载链接，并详细介绍了环境变量配置方法，包括JAVA_HOME、HADOOP_HOME、SPARK_HOME等关键路径设置，最后通过命令行测试确认安装成功。

软件版本

环境变量配置

系统变量添加

JAVA_HOME： C:\Program Files\Java\jdk1.8.0_221（java 安装目录）
HADOOP_HOME:C:\spark\hadoop-2.7.6 （hadoop解压目录）
SPARK_HOME: C:\spark\spark-2.4.4-bin-hadoop2. （spark解压吗目录）

Path 中添加

(Python 安装目录)
(scala 安装目录)
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin
%SPARK_HOME%\bin
%HADOOP_HOME%\bin

测试

Win+R, 输入cmd打开终端

java -version
python
scala
spark-shell
hadoop
pyspark
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文) 附安装包网盘下载
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
本地windows搭建spark环境，安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)
DayDayUp
12-28 1455
本地搭建spark环境，安装与详细配置 文章目录本地搭建spark环境，安装与详细配置安装包下载地址：jdk安装与配置scala安装与配置hadoop安装与配置spark安装与配置 安装包下载地址： JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Hadoop2.6.5...
Win10下安装单点Spark、Hadoop、Python环境
weixin_34212189的博客
02-12 207
2019独角兽企业重金招聘Python工程师标准>>> ...
spark在windows安装
YouAreLion的博客
12-28 2914
spark在windows安装
Spark 安装（windows）
最新发布
2402_87382229的博客
04-08 993
环境变量配置完成后验证spark是否安装成功，开启一个新的cmd窗口。输入：spark-shell 出现版本号即为安装成功。点击确定后 再编辑用户变量 点击path进行编辑。把spark安装包解压到一个新文件夹中。搜索环境变量 在系统变量中配置路径。复制spark安装包解压后的路径。环境变量设置完成后点击确定退出。
在Windows上的安装 Spark
lengyudexin的博客
12-28 2139
安装Java 8或更高版本 要在windows上安装Apache Spark，你需要Java 8或最新的版本，因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK，你可以从这里 下载.它。 下载后，双击下载的文件，以便在您的windows系统上安装它。选择任何自定义目录或保持默认位置。 注意：这是以Java 8上安装Apache Spark为例，同样的步骤也适用于Java 11和13版本。 Apache Spark在Windows上的安装 Apache Spark是以压缩的t
windows中安装Spark
蓝色格子ren的博客
07-27 6489
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
Spark1.6.0 Hadoop2.6.0 单机win7下配置（Intellij IDEA）
Crystal_Zero的博客
11-24 4752
1. 首先需要注意的Scala版本要与Spark相应版本对应 比如Spark1.6.0，官网上给出了依赖 Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.
Win10下安装Spark的尝试总结（尚未出坑）
weixin_42757820的博客
03-22 3192
今天尝试部署Spark（Win10环境），学习了很多很有帮助的文档。基本的次序也算了解了一些。但最后还是没有成功。后面继续努力吧。但学习了一些点还是值得记录下： 1-Spark类似Mysql Workbench、Navicat之类，是用来对接和分析数据的。当然比后者功能强大很多，后者更多是传统的数据查询、处理及转化等。但Spark可以进行机器学习、图形处理，对接Python、R等分析包。 （Spa...
Spark在Windows下的环境搭建
热门推荐
大气人生
10-19 13万+
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。
Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.6
CX_Sunshine的博客
07-26 792
Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.6 1.下载安装jdk （1）创建oracle账户：用户名chenxuankelly@163.com、密码：JSNTcx0122； https://download.oracle.com/otn/java/jdk/8u221-b11/230deb18db3e4014bb8e3e8324f81b43/jdk-8u...
Spark Windows10 安装
BlueProtocolBlog
12-07 2177
在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。  ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13.   这个看一下就懂了，如果我们安装Spark3版本的我们需要先安装
windows下安装spark
qq_44077239的博客
11-02 1310
windows下安装sparkwindows下安装spark1、安装jdk2、安装scala（注意版本）3、下载spark4、安装hadoop5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）6、运行spark-shell windows下安装spark 1、安装jdk 2、安装scala（注意版本） 3、下载spark 将下载的文件解压到一个目录，注意目录不能有空格，比如说不能解压到C:\Program Files（x86）
windows下spark的安装
xhaoDream的博客
10-14 1406
windows下spark的安装 首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。 选择的环境如下： jdk1.8+scala2.10.2+hadoop2.7.4+spark2.4.4 一、 scala安装 scala安装包下载： 链接：https://pan.baidu.com/s/1HLsFBhXWazuKxGpgF8xP1Q 提取码：g0zi 安装后cmd输入sca...
winpythonhadoop_在Windows上使用python进行Hadoop流式传输
weixin_39643865的博客
12-08 148
I'm using Hortonworks HDP for Windows and have it successfully configured with a master and 2 slaves.I'm using the following command;bin\hadoop jar contrib\streaming\hadoop-streaming-1.1.0-SNAPSHOT.ja...
【Spark】Windows下安装Spark（亲测成功安装）
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
我在Windows系统搭建python的Hadoop+Spark环境时踩过的坑
X_s_yu的博客
03-22 794
本人是一个最近正在研究链路预测的小白，读论文的时候有幸从导师那里获得了论文相关的算法代码，可是论文里面涉及到了spark和Hadoop，需要搭建环境，于是这只无脑的小白成功踏入了搭建Hadoop+spark环境的坑，可谓一如此坑深思海，从此快乐是路人。 最开始了解到用Linux系统更方便，于是用VM+Ubuntu在Windows上运行Linux，这次踏上了以条VM安装Ubuntu的岔路，...
2.Spark Windows环境安装
.
06-14 696
spark Windows安装
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值