Intellij 创建spark项目的两种方式

最新推荐文章于 2025-05-13 14:03:17 发布
最新推荐文章于 2025-05-13 14:03:17 发布
阅读量1.7w 收藏 21
点赞数 4
CC 4.0 BY-SA版权
分类专栏： intellij spark 文章标签： intellij scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a532672728/article/details/79455024
本文介绍了使用IntelliJ IDEA创建Spark项目的两种方法。首先，通过新建项目并手动添加Spark库和Scala SDK，然后是直接创建Scala项目并后续添加Spark依赖。在每个步骤中，详细解释了如何导入Spark的jar包和设置Scala SDK，确保项目能够正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发Java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种

  1. 选择File->new Project->Java->Scala,这里scala版本是2.11.8

. 这里写图片描述

2 .之后一路点击next，直到finish，创建完的项目见下图，这时候已经可以创建scala文件了，接下来就可以添加spark相关的jar包了，从官网下载http://spark.apache.org/downloads.html，我这里用的是spark-2.2.1-bin-hadoop2.7，你可以根据自己需要选择相应的版本，下载完压缩包后解压
这里写图片描述

3 . 选择File->Project Structure->Libraries,点击+，选择Java，选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹，将该文件夹下的jar包全部引进该项目，见下图
这里写图片描述

4 . 之后在libraries中点击+，选择scala sdk，这里选择系统版本的scala，为2.11.8版本,添加见下图

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark零基础入门实战（六）使用IntelliJ IDEA创建Scala项目
分享大数据、人工智能领域原创文章
12-09 1427
IntelliJ IDEA（简称IDEA）是一款支持Java、Scala和Groovy等语言的开发工具，主要用于企业应用、移动应用和Web应用的开发。IDEA在业界被公认为是很好的Java开发工具，尤其是智能代码助手、代码自动提示、重构、J2EE支持等功能非常强大。
如何采用IDEA创建一个Spark工程呢?
qq_20016465的博客
09-11 387
1.选择File-Project 2.选择Maven,选用的是JDK1.8,点击Next 3.定义Maven_project的GAV.点击Next 4.命名好自己的Project name ,选择对应的路径,点击finish 工程创建好了 5.打开IDEA界面后,将默认创建的src模块删除 6.创建自己的module 点击该工程,右键点击new–>module 7.选择maven,选择Next 8.做好相关的命名,点击next 9.填写对应的,随后点击finish, 10.一个spa
spark进阶（二）：Idea创建spark项目
泛泛之素
10-04 1318
环境： scala：2.12.0 java：1.8 spark：3.1.2 一、Idea创建scala项目 Idea新建一个新的项目，选择通过maven创建： 给项目起个名字，设置版本： maven选项，如果有本地maven的话用本地的，没有的话建议下一个，不行用这个默认的也可以： 设置maven源为aliyun，上面的setting目录创建对应的setting.xml文件： (base) [~/softwares]$ cat /home/ffzs/.m2/settings.xml <sett
IntelliJ IDEA创建一个spark的项目
biqidaoer的专栏
12-08 2151
在开始之前，需要说明的是 要跑通基本的wordcount程序，是不需要在windows上安装 hadoop 和spark的，因为idea在跑程序的时候，会按照 pom.xml配置文件，从指定的 repository源，按照properties指定的版本，下载dependency中指定的依赖包。如果需要在本地通过-shell，或者 运行开发完的包，那么就需要完整的hadoop 和spark环境，就需要把这两个都安装好。
如何在idea中写spark程序
最新发布
2401_87373448的博客
05-13 403
(1)访问Scala官方网站（https://www.scala-lang.org/download/）下载适合操 作系统的Scala安装包。安装Scala的操 作，也是一路默认安装即可。(2) 打开命令提示符（CMD），输入以下命令：scala -version 如果显示Scala 的版本信息，说明安装成功。Spark是基于scala的，当然它也可以支持java和scala还有python语言，我们这里会使用scala。它的功能是wordcount的功能：从指定的文件夹中去读取文件，并做词频统计。
IDEA新建一个spark项目
yygyj的博客
12-05 2917
大数据spark项目创建小练习
001-使用IDEA 工具创建Spark项目
艾文
05-29 3808
1. 环境准备 1 2. 创建第一个SBT项目 1 2.1. File->Project 1 2.2. SBT项目工程结构 4 2.3. SBT项目配置依赖 4 3. Spark编写WordCount程序 5 3.1. 引入依赖包 5 3.2. 编写WordCount程序 5 3.3. 打包部署 6 3.4. Spark 程序运行 6 3.4.1. Run applicatio
idea创建spark教程
qq_29444571的博客
07-18 3256
idea 创建 spark 开发环境
详解IntelliJ IDEA创建spark项目的两种方式
08-26
"IntelliJ IDEA创建Spark项目的两种方式" IntelliJ IDEA是进行 Scala 开发的一个非常好用的工具，可以非常轻松查看 Scala 源码，当然用它来开发 Java 也是一样爽的。在使用 IntelliJ IDEA 创建 Spark 项目时，需要...
idea spark java_详解IntelliJ IDEA创建spark项目的两种方式
weixin_29420299的博客
02-16 981
Intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发Java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种1、选择File->new Project->Java->Scala,这里scala版本是2....
Intellij IDEA 搭建Spark开发环境说明
07-04
基于Win7环境，IntelliJ IDEA 搭建Spark开发环境。
第8课：彻底实战详解使用IDE开发Spark程序
slq1023的博客
01-24 5939
第8课：彻底实战详解使用IDE开发Spark程序 1.下载安装windows下的scala-2.10.4. 2.打开eclipse，新建scala project： WordCount 3.修改依赖的scala版本为2.10.x。 在Package Explorer中WordCount上点击右键，选择properities->scala Compilier，选择下图所示use peojec
IntelliJ IDEA配置Spark使用
常思考->有目标->重实践->善反思
10-08 3184
第二步下载插件 首先启动intelliJ IDEA:在命令行终端中，进入$IDEA_HOME/bin目录，输入./idea.sh进行启动,进入如下界面，然后选择右下角“plugins” 然后进入以下界面，点击Plugins，由于Scala插件没有安装，需要点击”Install JetBrains plugins"进行安装，如下图所示： 然后进入以下界面，点击下
Intellij IDEA安装配置Spark与运行
发财糕
03-27 4035
在com.tipdm.sparkDemo包下新建WordCount类并指定类型为object，编写spark程序实现单词计数器。整个程序会读取指定路径下的文件，计算每个单词的出现次数，并打印结果。这是一个使用Spark进行基本文本分析的常见示例。在Scala中，对象可以包含方法和字段，并且可以作为程序的入口点。这两个类，它们都是Apache Spark的核心组件。在Scala的基础上（（在Scala中，这相当于Java中的。对象，它是Spark应用程序的入口点。，它包含了要读取的文件的路径。
IDEA2022 配置spark开发环境
小白兔奶糖の博客
03-02 2345
在本文中，我们讨论了如何在Windows上配置Spark开发环境，并介绍了如何使用Pyspark或进行开发和测试。此外，我们还讨论了如何使用集成开发环境（IDE）和扩展你的Spark开发环境。最后，我们提醒你时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。如果你正在学习Spark开发，希望这篇文章能够帮助你更好地开始你的Spark开发之旅。
SprakSQL-Catalog
lu070828的博客
10-01 1172
Catalog可以翻译为目录，意思就是用户在使用的时候可以通过它大致了解整个数据的框架和结构，比如：充当底层元存储（例如Hive元存储）的代理、管理其所属Spark会话的临时视图和函数。从源码的调用，我们可以清楚的知道Catalog对临时视图、hive库表、分区、函数进行了统一管理，其中临时视图是用要给map来维护它们的关系，hive方面的实体表是委托给HiveExternalCatalog调用HiveClient来进行操作。
Spark Catalog深入理解与实战——《DEEPNOVA开发者社区》
Deepexi_Date的博客
08-17 1033
CatalogManager维护了所有Catalog实例的键值对信息，能够根据catalog名称返回对应的Catalog实例，其中有一个固定的名字叫spark_catalog，用于当前默认的Catalog实例实现，该示例就是V2SessionCatalog，它代理了普通的SessionCatalog，因此，在使用时，即使什么Catalog都不注册，Spark也会根据默认的Catalog实例加载Hive数据源。上面介绍了Spark Iceberg对多类型Catalog的支持，下一步自然要问，这有什么用？...
在IDEA运行spark程序（搭建Spark开发环境）
热门推荐
wanglingli95的博客
11-01 2万+
在IDEA中运行spark程序
intellij Maven项目选择spark
03-15
### 如何在 IntelliJ IDEA 的 Maven 项目中集成和使用 Spark #### 配置环境 为了在 IntelliJ IDEA 中通过 Maven 使用 Spark，需要完成一系列准备工作。这包括安装必要的软件组件以及设置开发环境。具体来说，Ubuntu 16.04 是推荐的操作系统版本之一[^1]。 #### 安装 Scala 和 Spark 在开始之前，确保已经正确安装了 Scala 和 Spark。Scala 是 Spark 所基于的语言，而 Spark 则是用于大数据处理的核心框架。可以通过官方文档获取详细的安装指南[^2]。 #### 添加 Maven 支持 Maven 是一种强大的构建工具，能够帮助开发者管理项目的依赖关系并简化构建过程。要将 Maven 整合到 IntelliJ IDEA 中，可以按照以下方式操作： - 下载并安装 Maven 软件。 - 在本地配置 Maven 的仓库路径。 - 将 Maven 插件添加至 IntelliJ IDEA 并验证其功能正常。 #### 创建新的 Maven 项目 当环境准备好之后，在 IntelliJ IDEA 中创建一个新的 Maven 项目。选择 `File -> New Project`，然后选择 Maven 类型的项目模板。在此过程中，可以选择是否启用自动导入功能来实时更新依赖项[^3]。 #### 设置 POM 文件中的依赖项 为了让项目支持 Spark 功能，需编辑项目的 `pom.xml` 文件以引入 Spark 相关库作为依赖。以下是典型的配置片段示例： ```xml <dependencies> <!-- Apache Spark Core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.3.0</version> </dependency> <!-- Apache Spark SQL (如果需要用到SQL特性) --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.3.0</version> </dependency> </dependencies> ``` 上述代码定义了两个主要模块：一个是核心计算引擎 (`spark-core`)；另一个则是针对结构化数据查询的支持 (`spark-sql`) [^3]。 #### 构建可执行 JAR 包 最后一步涉及打包整个应用程序以便部署或测试用途。通常情况下，会希望把所有的类文件连同它们所依赖的外部库一起封装成单一的 JAR 文件形式发布出去。为此可以在 `pom.xml` 中加入如下插件声明： ```xml <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <archive> <manifest> <mainClass>com.example.MainApp</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> ``` 这里指定了主入口点所在的全限定名，并启用了包含所有必要依赖在内的组装模式。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦岚如雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值