intellij导入spark maven project并打包运行

本文介绍如何在IntelliJ中导入Maven项目并配置依赖,生成可执行的jar包,以及如何使用Spark客户端提交并运行Spark任务。

一、将maven project导入intellij

1.file->open->选择项目所在的目录->OK

2.等待生成项目后,引入依赖jar包:file->Project Structures->Libraries-> + ->Java ->选择依赖jar包 - OK

二、生成jar包并运行

1.file->Project Structures-> Artfacts -> Jar -> From moudles with dependencies...-> moudle一栏选择项目名称-> OK

2.在界面右侧配置OutPut directory,右击项目名称->Put into Output Root ->apply -OK

三、提交spark任务

上传jar包到spark客户端,执行命令 spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/client/spark/xxxxxxxxxx.jar  /tmp/spark/input




### 在 IntelliJ IDEA 中导入 Maven Scala 项目 为了在 IntelliJ IDEA 中成功导入配置 Maven 支持的 Scala 项目,需遵循特定步骤以确保环境设置正确。 #### 准备工作 确认本地已经安装了 JDK 和 Maven且能够正常运行。对于 Scala 的版本选择,考虑到 Spark 官网指出自2.0版起,默认使用 Scala 2.11构建[^4],推荐选用相匹配的 Scala 版本。 #### 导入现有 Maven 项目 当面对已有 Maven 构建文件(`pom.xml`)的情况时,在启动 IntelliJ IDEA 后可直接打开对应目录作为新项目加载。IDE 将自动识别 `pom.xml` 文件中的依赖关系尝试解析它们。 #### 新建 Maven Scala 项目 如果打算新建一个基于 Maven 的 Scala 工程,则应该利用内置模板或者指定合适的 Archetype 来初始化工程结构。这可以通过命令行执行 `mvn archetype:generate` 或者借助 IntelliJ IDEA 自带的新建项目向导完成[^1]。 #### 配置 Scala 插件和支持库 一旦项目被创建或导入之后,还需要进一步调整 IDE 设置以便更好地支持 Scala 开发: - **启用 Scala 插件**:前往 File -> Settings (Windows/Linux) / Preferences (macOS),导航至 Plugins 菜单查找激活官方提供的 Scala 插件。 - **添加 Scala SDK**:进入 Project Structure 对话框下的 Modules 页面,点击 Dependencies Tab 添加所需的 Scala 库版本[^2]。 ```xml <dependencies> <!-- Example dependency --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> </dependencies> ``` 以上操作完成后,重启 IntelliJ IDEA 让更改生效,此时应能顺利编译和调试 Scala 源码。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值