记录spark本地开发的历程

最新推荐文章于 2024-06-15 20:39:43 发布

Hello_Ray

最新推荐文章于 2024-06-15 20:39:43 发布

阅读量528

点赞数

分类专栏：数据分析与存储

本文链接：https://blog.youkuaiyun.com/Hello_Ray/article/details/118469589

版权

本文详细介绍了如何在本地环境中安装和配置Scala、Spark和Hadoop，包括下载、解压、配置环境变量，并解决运行spark-shell时出现的winutils.exe错误。此外，还展示了在IntelliJ IDEA中创建Scala Spark项目，引入相关依赖，并给出读取文件内容的简单示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本地使用scala开发spark，首先需要安装和配置scala，spark以及hadoop环境。

scala安装

在scala官网下载，https://www.scala-lang.org/download/ 我选择的是scala 2.13版本，下载完成后，scala配置到系统的path中去，配置方法像jdk那种。

spark和hadoop环境安装

下载spark的地址：http://spark.apache.org/downloads.html ，入下图所示，我下载是图中的spark-3.0.3-bin-hadoop2.7.tgz，根据文件名称我们可以知道，下载hadoop必须要hadoop 2.7才可以。
在这里插入图片描述
下载hadoop地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/ 。

spark与hadoop下载完毕后，他们两者放到指定目录下解压即可，然后对应的bin配置在path中。

解压spark，我的spark解压的路径为：C:\workspace\spark-3.0.3-bin-hadoop2.7
解压hadoop，解压路径为： C:\workspace\hadoop-2.7.1

然后在系统中的环境变量中配置SPARK_HOME为
在这里插入图片描述
在path中添加
%SPARK_HOME%\bin，%SPARK_HOME%\sbin

Hadoop也是如此，在环境变量中HADOOP_HOME，然后在path中添加%HADOOP_HOME%\bin即可。

在配置完成后，在cmd中运行spark-shell时会出现没有winutils.exe的错误，根据如下的链接，下载被拷贝到hadoop的bin目录下（我的拷贝到C:\workspace\hadoop-2.7.1\bin目录下了）
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

idea中运行demo程序

pom文件中需要引入如下的依赖

<spark.version>2.3.1</spark.version>
<hadoop.version>2.7.1</hadoop.version>


<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.11

最低0.47元/天解锁文章