Spark运行环境——Windows模式

最新推荐文章于 2025-04-08 11:00:55 发布

slx9920

最新推荐文章于 2025-04-08 11:00:55 发布

阅读量1.9k

点赞数 2

分类专栏： Spark 文章标签： hadoop 大数据分布式

本文链接：https://blog.youkuaiyun.com/weixin_52948205/article/details/127112962

版权

Spark 专栏收录该内容

2 篇文章

订阅专栏

1、解压文件

略

2、启动本都环境

（1）进入解压后文件的bin目录下，双击spark-shell.cmd，启动Spark本地环境

（2）在bin目录下创建input目录，并添加word.txt文件，在命令行中输入脚本代码

sc.textFile("input/word.txt").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).collect

3、命令行提交应用

 spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar 10

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

slx9920

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Windows系统下的Spark环境配置

eeee~~的博客

09-04

2220

在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。

Spark环境搭建-Windows

qq_47844519的博客

07-06

2486

spark Windows搭建

1 条评论您还未登录，请先登录后发表或查看评论

二、Spark在Windows下的环境搭建

weixin_33898233的博客

03-26

3727

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。　　一．JDK的安装与环境变...

Spark 安装（windows）

热门推荐

tttzzzqqq2018的博客

08-02

2万+

安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。

大数据学习Spark——Windows模式（端口号相关）

caron的博客

06-26

361

1 解压缩文件将文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz解压缩到无中文无空格的路径中，将hadoop3依赖jar包拷贝到jars目录中。 2 启动本地环境 1) 执行解压缩文件路径下bin目录中的spark-shell.cmd文件，启动Spark本地环境 2) 在bin目录中创建input目录，并添加word.txt文件, 在命令行中输入脚本代码 sc.textFile("input/word.txt").flatMap(_.spl

本地提交spark_Spark在Windows下运行，本地提交spark到远程yarn集群

weixin_42622428的博客

12-23

1140

【问题】Spark在windows能跑集群模式吗？我认为是可以的，但是需要详细了解cmd命令行的写法。目前win下跑spark的单机模式是没有问题的。【关键点】spark启动机制容易被windows的命令行cmd坑1、带空格、奇怪字符的安装路径，cmd不能识别。最典型的坑就是安装在ProgramFiles文件夹下的程序，因为Program和Files之间有个空格，所以cmd竟不能识别。之前就把JD...

Spark 系列（二）—— Spark开发环境搭建

黑白影的博客

07-19

1127

一、安装Spark 1.1 下载并解压官方下载地址：http://spark.apache.org/downloads.html ，选择Spark版本和对应的Hadoop版本后再下载：解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 配置环境变量 # vim /etc/profile 添加环境变量： export SPARK_...

Spark大数据技术（Scala）小白教程（一)——大数据技术概述以及环境配置_spark scala教程

2401_84170391的博客

05-06

979

Apache Spark 是一个基于内存计算的大数据处理框架，提供了高性能和灵活性，支持多种数据处理模式。Spark 提供了丰富的 API，包括 Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和 GraphX（图计算库），使得用户可以方便地进行数据处理、数据分析和机器学习等任务。

Windows环境下安装Spark并运行WordCount例子

actionbean的博客

11-09

9457

Windows环境下安装Spark并运行WordCount例子一、Windows下安装Spark1、提前安装Java JDK2、提前安装Scala3、安装Spark4、安装Hadoop5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）6、运行spark-shell二、运行WordCount例子1、新建Project2、新建Scala Class3、导入Spark程序依赖的jar包4、编写WordCount代码一、Windows下安装Sp

windows下运行spark，hadoop，并简单实现伪集群环境

u013842655的博客

05-04

1297

windows下运行spark，hadoop，并简单实现伪集群环境

Spark在window环境启动

manitod的博客

01-31

746

spark在windows环境使用时的常用命令

Windows上安装运行Spark

weixin_30485291的博客

07-01

214

1.下载Scala:https://www.scala-lang.org/download/ ①注意：必须下载官方要求的JDK版本，并设置JAVA_HOME,否则后面将出现很多麻烦！ ②Scala当前最新版本为2.13.0，但是建议不要使用最新的版本，此处下载的是2.11.12 Scala所有版本列表：https://www.scala-lang.org/download/a...

Win上安装运行Spark

analyzes的博客

08-31

280

一、JDK的安装 1、1 下载JDK 　　首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads 。上图中两个用红色标记的地方都是可以点击的，点击进去之后可以看到这个最新版本的一些更为详细的...

Spark在Windows环境下的搭建

Simon的博客

03-11

6862

一、安装JDK 本文写于2022年3月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多

Spark的Windows本地化部署完整方案

大尾巴鱼的博客

09-01

3358

对于Spark，网上涉及到Windows平台搭建的资料不多。大多资料不全，而且很少说明注意事项，存在一定的挖坑行为。对于不是很熟悉spark环境搭建过程，但是又非常想在自己的电脑上搭建一个本地环境的小伙伴来说存在一定的绕路行为。本文借鉴了网上大部分的资料，在整理集成的同时，会以一次完整的环境搭建过程为演示内容。.........

windows下运行spark程序

funny75的专栏

02-04

4343

linux普通用户开发spark程序时，由于无法使用IDEA的图形化操作界面，所以只能大包围jar，用spark-submit提交，不是很方便， spark的local模式可以方便开发者在本地调试代码，而不用打包为jar用spark-submit提交运行，或是在spark-shell中逐行运行，下面是在windows上运行sparkPi的代码及结果package comimport scala.ma

搭建本地spark环境用idea运行

03-12

### 使用 IntelliJ IDEA 搭建和运行 Spark 开发环境 #### 创建 Maven 工程为了在本地使用 IntelliJ IDEA 构建 Spark 的开发环境，首先需要创建一个新的 Maven 项目。这一步骤已经在Intellij IDEA中通过安装 scala 插件得以准备就绪[^1]。 #### 配置 JDK 和 Scala 版本确保选择了合适的 JDK 版本（推荐 jdk8.0），因为过高版本可能会导致 pom.xml 文件配置出现问题[^2]。对于 Scala 的版本选择，请依据所使用的 Spark 版本来决定；例如，如果采用的是 Spark-2.3.2，则应搭配 Scala-2.11.x 版本[^4]。 #### 添加 Spark 依赖项到 `pom.xml` 编辑项目的`pom.xml`文件以加入必要的 Spark 库依赖关系。对于仅需在 Windows 上进行 Spark 编程练习的情况而言，并不需要实际部署 Hadoop 或者 Spark 环境，而是能够借助于 Maven 来管理这些库的引入。具体来说就是向该 XML 文档中的 `<dependencies>` 节点下增加如下所示的内容： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.2</version> </dependency> ``` 上述代码片段展示了如何指定 spark-core 这个核心组件作为依赖对象及其对应的 Scala 版本号与 Spark 发布版次。 #### 编写并测试简单的 Spark 程序一旦完成了以上准备工作之后就可以着手编写第一个 Spark 应用了。下面给出了一段用于验证整个设置过程是否成功的简单例子——计算给定列表里各个元素出现次数的小型应用程序： ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("word count").setMaster("local[*]") val sc = new SparkContext(conf) val words = List("hello", "world", "hello") val wordCounts = sc.parallelize(words).countByValue() println(wordCounts) sc.stop() } } ``` 这段代码实现了基本的功能演示：初始化 Spark 上下文、加载数据集、执行操作以及关闭资源连接。值得注意的是，在调用 setMaster 方法时指定了参数 `"local[*]"` 表明此应用将在单机模式下的所有可用 CPU 核心上并发执行。 #### 执行程序最后一步就是在 IDE 中直接点击按钮启动刚才编写的 Spark 应用程序了。由于之前已经正确设置了所有的外部库路径和其他必要条件，所以现在应该可以顺利地看到预期的结果输出至控制台窗口中。