spark windows 单机 安装

最新推荐文章于 2025-05-07 10:17:35 发布
最新推荐文章于 2025-05-07 10:17:35 发布
阅读量3.7k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据相关 文章标签： spark windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/designpc/article/details/51871627
本文介绍如何在Windows环境中安装配置Apache Spark，包括JDK、Spark及Hadoop的环境搭建步骤，以便用户能在本地环境中顺利运行Spark应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0目标

单机windows上，运行spark


1  前期准备

jdk 1.7 

2  下载spark 包

官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,内嵌hadoop2.6，不要要without的

解压到D:\software\spark-1.6.2-bin-hadoop2.6

将D:\software\spark-1.6.2-bin-hadoop2.6设为SPARK_HOME变量

将D:\software\spark-1.6.2-bin-hadoop2.6\bin 添加到windows 系统Path变量

3 安装windows环境下hadoop依赖

spark是基于hadoop的额，运行过程调用hadoop库，将hadoop2.6编译好的包，下载解压hadoop-2.6.0.tar.gz

https://www.barik.net/archive/2015/01/19/172716/

将D:\software\hadoop-2.6.0设为HADOOP_HOME变量

将D:\software\hadoop-2.6.0\bin添加到系统Path变量中



Spark 单机和集群环境部署教程
qq_42568323的博客
08-07 2049
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
spark-单机部署（三）
weixin_45025143的博客
11-18 2405
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
Spark——在Windows单机安装spark
Tubby的博客
03-12 3170
Windows安装spark下载安装Java，安装版本为8下载spark安装包下载Hadoop支持包下载并安装pycharm和anaconda配置pycharm运行spark环境spark读取本地文件格式： 下载安装Java，安装版本为8 Java8下载地址 安装教程详见：菜鸟教程—Java安装 下载spark安装包 spark2.3.3下载地址 建议安装2.3.3版本，高版本的2.4.0在运行时...
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3812
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Spark安装教程（Linux版/Windows版）
最新发布
weixin_64304787的博客
05-07 1174
安装环境：三台已配置完毕的虚拟机（网络、网关、localhost、密钥、防火墙等）spark压缩包（.tgz）官方下载链接放在下面这里用spark-3.0.0（虚拟机）举例。Apache Archive 分发目录。
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 2万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
window下安装单机的spark
百物易用是苏生
07-06 706
前提条件：java 8、scala已经安装完毕 而hadoop得安装是需要yarn管理或访问hdfs分布式文件集群时才需要安装，单机版可以考虑不安装hadoop，仅仅安装spark spark官网：http://spark.apache.org/downloads.html 下载完spark-2.4.3-bin-hadoop2.6.tgz 后直接解压文件即可， 然后设置环境变量...
Spark 安装（windows）
2402_87382229的博客
04-08 717
环境变量配置完成后验证spark是否安装成功，开启一个新的cmd窗口。输入：spark-shell 出现版本号即为安装成功。点击确定后 再编辑用户变量 点击path进行编辑。把spark安装包解压到一个新文件夹中。搜索环境变量 在系统变量中配置路径。复制spark安装包解压后的路径。环境变量设置完成后点击确定退出。
Spark单机版安装及配置（win10）
Trista的博客
10-21 2715
写在前面： 本篇博文记录在win10上安装spark单机版的过程，需要安装的软件有：Java JDK、Scala、Hadoop、Spark，本次安装的版本以及版本之间的对应要求如下： 在安装之前，新建一个spark文件夹，除了java之外其他软件都放在这个文件夹下，方便管理。 1 安装java 1.1 查看java是否安装及版本信息 如果已经安装了java,需要查看版本，Java版本最好是1.8或者11，查看方法，使用cmd打开命令行，输入java -version： 1.2 下载安装java 如果不
Spark Standalone单机模式环境搭建
Acolasiajialifen的博客
01-03 1057
实验目录 目录 实验目录 实验环境 准备工作 安装步骤 实验环境 Windows10+Centos7+jdk1.8.0_171+spark-2.4.8 准备工作 jdk-8u171-linux-x64.tar.gz和spark-2.4.8-bin-hadoop2.7.tgz 安装步骤 将spark-2.4.8-bin-hadoop2.7.tgz上传至/tools/目录下 进入/tools/目录下将其解压至/training/目录下，执行： tar -zxvf spark-2.4.8-
spark踩坑记——windows环境下spark安装和运行
2201_76100933的博客
06-03 1485
spark踩坑记——windows环境下spark安装和运行
Spark Standalone 单机版部署
10-17
Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
【Spark笔记】Windows10 本地搭建单机版Spark开发环境
weixin_30415801的博客
06-09 2278
0x00 环境及软件 1、系统环境 OS：Windows10_x64 专业版 2、所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8.3.tar.gz scala-2.11.8.zip hadoop-common-2.2.0-bin-master.zip（主要使用里面的winutils.exe） I...
Windows下单机安装scala-Spark开发环境
山谷来客
04-23 3189
part1：版本信息 （1）系统：Win7或Win10 （2）jdk版本 版本：1.7.0_60 （3）spark版本  spark-1.6.1-bin-hadoop2.6.tgz http://apache.fayea.com/ http://apache.fayea.com/spark/spark-1.6.1/ （4）hadoop版本 hadoop-2.6.0.tar.g
spark在windows安装
YouAreLion的博客
12-28 2886
spark在windows安装
在windows中搭建spark单机版
slibra_L的博客
09-07 3195
虽然要学习spark，选择linux的版本更合适，之前在台式机上配置了centos的虚拟机并安装了hadoop和spark，可是无奈笔记本性能不行，如果安装虚拟机会很卡，所以只能在windows中安装spark加以练习 1.1、jdk安装 安装Oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk...
在Windows上安装单机Spark
avasoso的专栏
10-26 3671
在Windows上安装单机Spark 一、           依照官方文档第一次尝试 1.       安装jdk（spark基于jvm，所以先装jdk1.6以上）和python（2.4以上，python3暂不支持），配置jdk和python环境变量：   2.     然后官网上下载spark-1.2.0-bin-hadoop2.4.tgz 解压到目录F:\spark
Windows单机下Spark环境搭建
weixin_54303519的博客
03-21 511
供大家参考
Windows 单机模式 Spark 安装和 配置
ZHAOLEI5911的博客
11-12 6198
一安装前说明 二安装配置所需的安装包 scala2104httppanbaiducoms1eSn2jsQ Intellij IDE 20163 httppanbaiducoms1dFA4Pk1 spark 140 httppanbaiducoms1bLQcY6 三 windows7 安装 scala 四Intellij IDE 安装 五 Intellij IDE 中 scala 插件安装 六运
windows单机部署hdfs spark java
01-13
### Windows 单机环境下的 HDFS 和 Spark 安装配置 #### 准备工作 确保已安装 Java 开发工具包 (JDK)，并设置 `JAVA_HOME` 环境变量。对于 JDK 的安装路径，可以保持默认的 Program Files 文件夹不变[^2]。 ```batch set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_144 ``` #### 下载与解压缩软件包 下载 Apache Hadoop 和 Apache Spark 的二进制版本，并将其分别解压至合适的位置： - **Hadoop**: 解压到 C:\hadoop\ - **Spark**: 解压到 C:\spark\ #### 设置环境变量 编辑系统的环境变量来添加 HADOOP_HOME 和 SPARK_HOME 变量以及更新 PATH: ```batch set HADOOP_HOME=C:\hadoop set SPARK_HOME=C:\spark set PATH=%PATH%;%HADOOP_HOME%\bin;%SPARK_HOME%\bin; ``` #### 配置 Hadoop 修改 `%HADOOD_HOME%\etc\hadoop\core-site.xml` 添加如下内容以指定本地文件系统作为 NameNode: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>file:///</value> </property> </configuration> ``` 同样地，在同一目录中的 hdfs-site.xml 中定义 DataNode 存储位置: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 初始化 HDFS 文件系统: ```bash hdfs namenode -format ``` 启动 Hadoop 服务: ```bash start-dfs.cmd ``` #### 配置 Spark 编辑 %SPARK_HOME%/conf/spark-env.sh 创建此文件如果不存在的话, 并加入以下行指向正确的 Hadoop 版本和 Java 主目录: ```sh export HADOOP_HOME=C:/hadoop export JAVA_HOME=C:/Progra~1/Java/jdk1.8.0_144 ``` 创建或编辑 spark-defaults.conf 来设定必要的参数以便于单节点集群操作[^1]: ```properties # 配置 Master 节点的主机名为 localhost spark.master=local[*] # Worker Node 使用的核心数设为 1 spark.worker.cores=1 # Worker Node 上运行的实例数量也设为 1 spark.worker.instances=1 # 分配给每个 worker node 的内存量 spark.executor.memory=1g # 指定 Spark Web UI 所监听的端口，默认情况下是 4040 spark.ui.port=4040 ``` 验证 Spark 是否能够正常工作可以通过提交一个简单的应用程序测试: ```python from pyspark import SparkContext sc = SparkContext("local", "Test App") print(sc.parallelize([1, 2, 3]).collect()) sc.stop() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值