Idea使用Scala启动并编写Spark应用程序

最新推荐文章于 2024-08-07 20:31:19 发布

钟日日

最新推荐文章于 2024-08-07 20:31:19 发布

阅读量1.5k

点赞数

本文链接：https://blog.youkuaiyun.com/qq_41966938/article/details/81559464

版权

本文介绍了如何在IntelliJ IDEA(Idea)中使用Scala构建Spark应用程序。首先，通过选择maven并选用scala-archetype-simple模板创建新项目，设置groupId、ArtifactId和version。接着配置Maven路径和settings.xml位置，添加Maven仓库路径。然后，在pom.xml中引入Spark相关依赖，确保Scala版本为2.11.8。需要注意的是，需要移除-make:transitive选项以避免启动错误。在完成项目配置后，可以开始创建Scala Object文件进行Spark编程。若在Windows环境下，还需下载winutils并配置到Hadoop的bin目录，同时设置用户变量和环境变量，重启电脑后才能正常启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、打开Idea，选择新建一个项目，点击右侧的选择maven，在左侧勾选，create from archetype选项，在下拉的选项中中悬着scala-archetype-simple选项，点击下一步

2、填写gav三个坐标，这个自己填写就好，可以参考格式以下，点击下一步

groupId：com.test.www

ArtifactId : sal

version :1.0

3、配置maven的安装路径以及，配置setting.xml的路径，该路径在maven的conf路径下，接下来添加通过maven仓库的路径，这个可以自己添加

4、最后填写项目的名称就可以新建一个项目了

6、新建项目完成后需要引入spark依赖，这样才可以进行spark编程，在pom.xml文件添加依赖，版本修改为自己对应的spark版本，并吧scala版本修改为2.11.8版本，否则会无法正常使用spark，并把-make:transitive选项删除，否则启动时会报错，如果已经报错，打开项目的.idea目录，找到scala_compiler.xml文件把该依赖删除即可

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.11</artifactId>
  <version>${spark.version}</version>
</dependency>

接下来就可以新建一个scala Object文件进行编程啦，另外如果在window上编程还要去github上下载winutils放到hadoop的bin目录下,并添加用户变量和环境变量，重启电脑就可以正常启动了