intellij导入spark maven project并打包运行

最新推荐文章于 2024-05-28 23:54:25 发布
原创 最新推荐文章于 2024-05-28 23:54:25 发布 · 778 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在IntelliJ中导入Maven项目并配置依赖，生成可执行的jar包，以及如何使用Spark客户端提交并运行Spark任务。

一、将maven project导入intellij

1.file->open->选择项目所在的目录->OK

2.等待生成项目后，引入依赖jar包：file->Project Structures->Libraries-> + ->Java ->选择依赖jar包 - OK

二、生成jar包并运行

1.file->Project Structures-> Artfacts -> Jar -> From moudles with dependencies...-> moudle一栏选择项目名称-> OK

2.在界面右侧配置OutPut directory,右击项目名称->Put into Output Root ->apply -OK

三、提交spark任务

上传jar包到spark客户端，执行命令 spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/client/spark/xxxxxxxxxx.jar  /tmp/spark/input




fourierLouis
关注
IDEA项目打包几种方式
阿杰同学的博客
09-27 2万+
IDEA项目打包几种方式 第一种，最常见的使用maven 项目的pom文件中引入spring-boot-maven-plugin插件 <build> <finalName>文件名称</finalName> <plugins> <plugin> <groupId>org.springframework.boot</groupId>
Intellij IDEA使用Maven搭建spark开发环境（scala）
热门推荐
徐先森的博客
05-24 1万+
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。
maven打包spark程序并放到集群上运行（超详细！！！）
程序媛媛
09-26 4370
PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。 一、maven的配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...
IDEA创建基于Scala语言的Spark Maven项目及WordCount
hannah_7的博客
02-27 445
IDEA创建基于Scala语言的Spark Maven项目及WordCount 前提概要须知：使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12。 一、创建Maven项目 1.1、下载有 Scala 开发插件 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PU6Q9AE-1612778300676)(C:\Users\Hannah\AppData\Roaming\Typora\typora-user-images\image-2021020
使用IDEA打包scala程序并在spark中运行
weixin_30363817的博客
12-29 431
一、首先配置ssh无秘钥登陆， 　　先使用这条命令：ssh-keygen，然后敲三下回车； 　　然后使用cd .ssh进入.ssh这个隐藏文件夹； 　　再创建一个文件夹authorized_keys，使用命令touchauthorized_keys； 　　然后使用cat id_rsa.pub >authorized_keys 即可； 　　最后使用 chmod 600auth...
IDEA MAVEN SPARK SCALA打包办法
Fly to sky
05-08 3576
采用jar提交集群模式流程为： 本地完成代码开发 –> 本地编译打包 -> 提交集群执行 创建三层包 需要先创建三层package（eg:cn.nokia.bigdata），然后在package下创建object，如下图 Paste_Image.png 稍微修改了下官方例子 package cn.nokia.bigdata import org.apache.spark.{SparkCon
Intellij idea 创建Maven Spark工程
u013560925的博客
09-19 3275
目录 背景 正文 创建Maven工程 打包过程 添加SCALA支持     背景              Intellij idea开发Spark工程，本地依赖使用Maven进行管理，打包也是用Maven命令，依赖包需要和编译后的源代码同时包含到结果Jar包中。   正文 创建Maven工程 截图如下，就是用原生的Maven工程，不要选择下面其他的，scala和Java...
Spark之Java独立应用编程Maven
qq_36292658的博客
03-19 624
环境如下：(更新了林子雨教程中不可使用的部分) Hadoop 2.7.1 java JDK 11 Spark 3.1.1 1.maven安装 2.java应用程序编码 /*** SimpleApp.java **/ import org.apache.spark.api.java.; import org.apache.spark.api.java.function.Function; public class SimpleApp { public static void main(String
idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
勤劳的小蜜蜂啊~
01-15 1万+
maven+scala+idea创建第一个wordcount项目，打包成jar并用命令行在spark on yarn集群上运行。
详解IntelliJ IDEA创建spark项目的两种方式
08-26
主要介绍了详解IntelliJ IDEA创建spark项目的两种方式，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
IDEA 搭建spark环境配置文件pom.xml
08-01
IDEA 搭建Spark环境时所需的依赖包配置，可以导入spark基本操作依赖包、机器学习依赖包等等。
使用 IntelliJ IDEA 导入 Spark源码及编译 Spark 源代码
weixin_33674976的博客
06-29 160
各位工程师累了吗? 推荐一篇可以让你技术能力达到出神入化的网站"宅男门诊" 1. 准备工作 首先你的系统中需要安装了 JDK 1.6+，并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后，首先安装（第一次打开会推荐你安装）Scala 插件，相关方法就不多说了。至此，你的系统中应该可以在命令行中运行 Scala。我的系统环境如下： 1. Mac OS X（10.10.4） 2....
IDEA导入Spark源码，并修改、编译、打包
边看边学
03-10 1591
1 下载Spark源码 下载源码到IDEA有两种方式： 利用 IDEA 的 git 插件。 进入Spark的GitHub源码地址，fork项目到自己的GitHub库，然后使用IDEA克隆项目到本地， 源码地址为：https://github.com/apache/spark 到Spark官网下载源码。 源码地址：http://spark.apache.org/downloads.html 两种...
Spark源码包导入到idea
京河小蚁的博客
12-25 2403
spark源码包导入到idea2019，利用maven管理依赖
使用 IntelliJ IDEA 导入 Spark 最新源码
岸芷汀兰
08-07 4368
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码###准备工作首先你的系统中需要安装了 JDK 1.6+，并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后，首先安装（第一次打开会推荐你安装）Scala 插件，相关方法就不多说了。至此，你的系统中应该可以在命令行中运行 Scala。我的系统环境如下：Mac OS X（10.9.5） JDK
Intellij IDEA安装配置Spark与运行
发财糕
03-27 4061
在com.tipdm.sparkDemo包下新建WordCount类并指定类型为object，编写spark程序实现单词计数器。整个程序会读取指定路径下的文件，计算每个单词的出现次数，并打印结果。这是一个使用Spark进行基本文本分析的常见示例。在Scala中，对象可以包含方法和字段，并且可以作为程序的入口点。这两个类，它们都是Apache Spark的核心组件。在Scala的基础上（（在Scala中，这相当于Java中的。对象，它是Spark应用程序的入口点。，它包含了要读取的文件的路径。
ubuntu中idea创建spark项目步骤
weixin_38383877的博客
05-28 575
然后再pom.xml的右上角点击Load Maven Change,自动下载各个依赖包文件。注意scala版本和spark版本可以在cmd窗口输入spark-shell进行查看。
用IJ IDEA将项目打成jar包
Alexz__的博客
09-20 2344
首先我是写了一个简单的helloworld项目： Ctrl+shift+alt+s 从现有项目中制作jar包，然后选中你要打包的项目，然后点击应用： 就会在刚刚选中的项目底下出现 META-INF文件夹，里面包含着jar的入口函数信息，也就是告知java从何处开始运行此程序： 随后开始构建jar包： 之后便可以在项目的out输出文件夹下找到所输出的jar包： 在文件中找到该jar包，尝试jdg-ui反编译： 直接拖入，反编译成功，与所写代码完逻辑相同，但是代
在intellij idea中导入 maven scala
最新发布
03-09
### 在 IntelliJ IDEA 中导入 Maven Scala 项目 为了在 IntelliJ IDEA 中成功导入并配置 Maven 支持的 Scala 项目，需遵循特定步骤以确保环境设置正确。 #### 准备工作 确认本地已经安装了 JDK 和 Maven，并且能够正常运行。对于 Scala 的版本选择，考虑到 Spark 官网指出自2.0版起，默认使用 Scala 2.11构建[^4]，推荐选用相匹配的 Scala 版本。 #### 导入现有 Maven 项目 当面对已有 Maven 构建文件（`pom.xml`）的情况时，在启动 IntelliJ IDEA 后可直接打开对应目录作为新项目加载。IDE 将自动识别 `pom.xml` 文件中的依赖关系并尝试解析它们。 #### 新建 Maven Scala 项目 如果打算新建一个基于 Maven 的 Scala 工程，则应该利用内置模板或者指定合适的 Archetype 来初始化工程结构。这可以通过命令行执行 `mvn archetype:generate` 或者借助 IntelliJ IDEA 自带的新建项目向导完成[^1]。 #### 配置 Scala 插件和支持库 一旦项目被创建或导入之后，还需要进一步调整 IDE 设置以便更好地支持 Scala 开发： - **启用 Scala 插件**：前往 File -> Settings (Windows/Linux) / Preferences (macOS)，导航至 Plugins 菜单查找并激活官方提供的 Scala 插件。 - **添加 Scala SDK**：进入 Project Structure 对话框下的 Modules 页面，点击 Dependencies Tab 添加所需的 Scala 库版本[^2]。 ```xml <dependencies> <!-- Example dependency --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> </dependencies> ``` 以上操作完成后，重启 IntelliJ IDEA 让更改生效，此时应能顺利编译和调试 Scala 源码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值