intellij导入spark maven project并打包运行

最新推荐文章于 2024-05-28 23:54:25 发布

原创最新推荐文章于 2024-05-28 23:54:25 发布 · 778 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍如何在IntelliJ中导入Maven项目并配置依赖，生成可执行的jar包，以及如何使用Spark客户端提交并运行Spark任务。

一、将maven project导入intellij

1.file->open->选择项目所在的目录->OK

2.等待生成项目后，引入依赖jar包：file->Project Structures->Libraries-> + ->Java ->选择依赖jar包 - OK

二、生成jar包并运行

1.file->Project Structures-> Artfacts -> Jar -> From moudles with dependencies...-> moudle一栏选择项目名称-> OK

2.在界面右侧配置OutPut directory,右击项目名称->Put into Output Root ->apply -OK

三、提交spark任务

上传jar包到spark客户端，执行命令 spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/client/spark/xxxxxxxxxx.jar /tmp/spark/input

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fourierLouis

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

maven打包spark程序并放到集群上运行（超详细！！！）

程序媛媛

09-26

4370

PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。一、maven的配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...

idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

勤劳的小蜜蜂啊~

01-15

1万+

maven+scala+idea创建第一个wordcount项目，打包成jar并用命令行在spark on yarn集群上运行。

参与评论您还未登录，请先登录后发表或查看评论

使用IDEA打包scala程序并在spark中运行

weixin_30363817的博客

12-29

431

一、首先配置ssh无秘钥登陆，　　先使用这条命令：ssh-keygen，然后敲三下回车；　　然后使用cd .ssh进入.ssh这个隐藏文件夹；　　再创建一个文件夹authorized_keys，使用命令touchauthorized_keys；　　然后使用cat id_rsa.pub >authorized_keys 即可；　　最后使用 chmod 600auth...

IDEA MAVEN SPARK SCALA打包办法

Fly to sky

05-08

3576

采用jar提交集群模式流程为：本地完成代码开发 –> 本地编译打包 -> 提交集群执行创建三层包需要先创建三层package（eg:cn.nokia.bigdata），然后在package下创建object，如下图 Paste_Image.png 稍微修改了下官方例子 package cn.nokia.bigdata import org.apache.spark.{SparkCon

使用 IntelliJ IDEA 导入 Spark源码及编译 Spark 源代码

weixin_33674976的博客

06-29

160

Intellij IDEA使用Maven搭建spark开发环境（scala）

徐先森的博客

05-24

1万+

如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。

Intellij idea 创建Maven Spark工程

u013560925的博客

09-19

3275

目录背景正文创建Maven工程打包过程添加SCALA支持背景 Intellij idea开发Spark工程，本地依赖使用Maven进行管理，打包也是用Maven命令，依赖包需要和编译后的源代码同时包含到结果Jar包中。正文创建Maven工程截图如下，就是用原生的Maven工程，不要选择下面其他的，scala和Java...

Spark之Java独立应用编程Maven

qq_36292658的博客

03-19

624

环境如下：(更新了林子雨教程中不可使用的部分) Hadoop 2.7.1 java JDK 11 Spark 3.1.1 1.maven安装 2.java应用程序编码 /*** SimpleApp.java **/ import org.apache.spark.api.java.; import org.apache.spark.api.java.function.Function; public class SimpleApp { public static void main(String

IDEA导入Spark源码，并修改、编译、打包

边看边学

03-10

1591

1 下载Spark源码下载源码到IDEA有两种方式：利用 IDEA 的 git 插件。进入Spark的GitHub源码地址，fork项目到自己的GitHub库，然后使用IDEA克隆项目到本地，源码地址为：https://github.com/apache/spark 到Spark官网下载源码。源码地址：http://spark.apache.org/downloads.html 两种...

详解IntelliJ IDEA创建spark项目的两种方式

08-26

主要介绍了详解IntelliJ IDEA创建spark项目的两种方式，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

IDEA 搭建spark环境配置文件pom.xml

08-01

IDEA 搭建Spark环境时所需的依赖包配置，可以导入spark基本操作依赖包、机器学习依赖包等等。

Spark结合Kafka利用maven打tar运行包

05-24

Spark结合Kafka利用maven打tar运行包

Spark源码包导入到idea

京河小蚁的博客

12-25

2403

spark源码包导入到idea2019，利用maven管理依赖

使用 IntelliJ IDEA 导入 Spark 最新源码

岸芷汀兰

08-07

4368

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码###准备工作首先你的系统中需要安装了 JDK 1.6+，并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后，首先安装（第一次打开会推荐你安装）Scala 插件，相关方法就不多说了。至此，你的系统中应该可以在命令行中运行 Scala。我的系统环境如下：Mac OS X（10.9.5） JDK

Intellij IDEA安装配置Spark与运行

发财糕

03-27

4061

在com.tipdm.sparkDemo包下新建WordCount类并指定类型为object，编写spark程序实现单词计数器。整个程序会读取指定路径下的文件，计算每个单词的出现次数，并打印结果。这是一个使用Spark进行基本文本分析的常见示例。在Scala中，对象可以包含方法和字段，并且可以作为程序的入口点。这两个类，它们都是Apache Spark的核心组件。在Scala的基础上（（在Scala中，这相当于Java中的。对象，它是Spark应用程序的入口点。，它包含了要读取的文件的路径。

ubuntu中idea创建spark项目步骤

weixin_38383877的博客

05-28

575

然后再pom.xml的右上角点击Load Maven Change,自动下载各个依赖包文件。注意scala版本和spark版本可以在cmd窗口输入spark-shell进行查看。

用IJ IDEA将项目打成jar包

Alexz__的博客

09-20

2344

首先我是写了一个简单的helloworld项目： Ctrl+shift+alt+s 从现有项目中制作jar包，然后选中你要打包的项目，然后点击应用：就会在刚刚选中的项目底下出现 META-INF文件夹，里面包含着jar的入口函数信息，也就是告知java从何处开始运行此程序：随后开始构建jar包：之后便可以在项目的out输出文件夹下找到所输出的jar包：在文件中找到该jar包，尝试jdg-ui反编译：直接拖入，反编译成功，与所写代码完逻辑相同，但是代

idea 项目代码打包为jar包详解