Win10 安装配置 Hadoop 及 Spark

最新推荐文章于 2025-04-08 11:00:55 发布

CodeMonkey21

最新推荐文章于 2025-04-08 11:00:55 发布

阅读量1.1k

点赞数 1

文章标签： spark hadoop

本文链接：https://blog.youkuaiyun.com/weixin_40772969/article/details/130173116

版权

该文详细介绍了如何在Windows10操作系统中安装和配置Java、Scala、Spark、Hadoop以及Python环境，特别强调了环境变量的设置。文章以一个WordCount程序为例，验证了环境配置的成功，并提供了配置后的检查步骤和输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以下内容只针对 Win10 系统

1. 环境安装

(1) 安装`Java`并配置环境变量

https://www.oracle.com/java/technologies/downloads/#java8-windows

(2) 安装`Scala`

https://www.scala-lang.org/ 或 https://github.com/lampepfl/dotty/releases/tag/3.2.2
Scala
配置环境变量，在系统环境变量path中新增D:\app\Scala\scala3-3.2.2\bin
Scala

Scala

完成后打开cmd 输入scala测试一下
Scala CMD

(3) 安装`Spark`

前往链接 spark doanload page 安装

Download Spark

点击进入下一个页面，下载压缩包文件spark-3.4.0-bin-hadoop3.tgz
Spark
将文件解压到你想要的文件夹目录中，我的是这样子的
Spark
接着配置环境变量，在系统变量中新增以下配置。变量名一定要命名为SPARK_HOME，否则接下来运行程序的时候会因为找不到这个变量而出错
System
在环境变量path中新增以下配置

Spark

CMD中输入spark-shell看看成功了没

(4) 安装`Hadoop`

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz
Hadoop
配置环境变量，在系统变量中新增以下配置。变量名一定要命名为HADOOP_HOME，变量值替换为你安装hadoop的目录
Hadoop
在path中添加以下配置