打包Spark程序并上传到集群

最新推荐文章于 2022-12-15 21:19:12 发布
原创 最新推荐文章于 2022-12-15 21:19:12 发布 · 4.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据

本文介绍了如何配置Spark、Scala、Hadoop环境，使用IDEA创建Scala工程，添加Spark依赖，编写WordCount实例，打包成jar，并在Spark集群上运行。关键步骤包括匹配版本、构建sbt项目、添加依赖、打包jar以及启动和提交Spark作业。

  • 前期准备

配置JDK，Scala，Hadoop，Spark运行环境，安装IDEA。

PS：注意spark、Scala、Hadoop之间的版本对应关系，否则可能会报错。

  • 在IDEA中用sbt构建Scala工程

IDEA中点击File->new->Project

之后填写项目名称，存储路径，选择JDK版本，Sbt版本，Scala版本

 

其中Scala版本必须与Spark编译使用的版本一致，可以通过Spark官网查询Scala版本

构建完成后的目录如下

最低0.47元/天 解锁文章
Ym_Allen
关注
SparkCore：IDEA开发Spark程序打包--上传--提交
11号车厢
08-02 416
文章目录1、IDEA的pom.xml文件添加依赖 1、IDEA的pom.xml文件添加依赖 //将版本好添加到这里，后面引用版本变量即可 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.4.0</spark.version> ...
Spark作业提交到集群执行详解
Spark技术咖的博客
08-16 2416
Spark作业提交到集群的命令格式如下 ./bin/spark-submit \ --class &lt;main-class&gt; \ --master &lt;master-url&gt; \ --deploy-mode &lt;deploy-mode&gt; \ --conf &lt;key&gt;=&lt;value&gt; \ ... # other optio...
IDEA spark打包自己定义的jar并上传至集群执行
weixin_33878457的博客
08-24 296
为什么80%的码农都做不了架构师？>>> ...
spark提交集群运行_提交第一个spark作业到集群运行
weixin_39610468的博客
12-30 217
写在前面 接触spark有一段时间了，但是一直都没有真正意义上的在集群上面跑自己编写的代码。今天在本地使用scala编写一个简单的WordCount程序。然后，打包提交到集群上面跑一下...在本地使用idea开发，由于这个程序比较简单，我这里就直接给出代码。 import org.apache.spark.{SparkConf, SparkContext}object WordCount {def...
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
maven打包spark程序并放到集群上运行（超详细！！！）
程序媛媛
09-26 4390
PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。 一、maven的配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...
【Spark学习】将wordcount程序打包上传到spark集群运行
xiexianyou666的博客
05-11 1041
1.编写wordcount程序 package RDDTest import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object test03 { def main(args: Array[String]): Unit = { //构建SparkConf对象 val conf:SparkConf = new SparkConf().setAppName("wc").setM
本地Spark程序提交到hadoop集群运行流程
tf_dev的博客
08-15 2981
1.本地环境准备 本文是将eclipse开发环境下的maven+Spark+scala程序移植到集群环境上执行过程，写的很粗糙，见谅。 本地用eclipse编写Spark小程序，完成从txt文件读取数据操作。 本地maven+Spark+scala环境就不多说了，如果配置出问题，就下载最新的eclipse然后从商店装插件吧。 注意在maven的配置文件pom.xml中插入Spark引用：
在IDEA打包SPARK程序到linux环境下执行
qq_43634424的博客
12-10 2334
IDEA打包spark到linux上运行，亲测有效
Spark项目打包优化实践
愤怒的小兵
12-28 727
问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消耗多很多时间，因此需对此过程进行优化。 优化方案 方案1：一次全量上传jar包，后续增量更新class POM文件配置（Maven） <dependencies> <dependency> <groupId>org.apache.spark</groupId>
Spark 部署方法
zhengcaihua0的博客
03-26 677
转载：https://blog.youkuaiyun.com/weixin_36394852/article/details/76030317Spark安装之前的准备文件的解压与改名tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz1rm -rf spark-2.2.0-bin-hadoop2.7.tgz1为了我后面方便配置spark，在这里我把文件夹的名字给改了mv spark-...
Spark - 集群与本地提交Spark任务问题记录
大数据研究小白
09-01 1682
Idea本地远程提交Spark任务，方便调试
spark依赖、打包、上传、运行
yan_yixin的博客
10-21 366
spark依赖、打包、上传、运行Eclipse Eclipse 1.解压所需要的lib目录 2.将整个文件复制粘贴到项目中 3.将lib包里的依赖全选进行包操作 4.出现一个新的lib依赖包 5.写完代码将需要的项目打包 6.选择jar包地址后执行下一步操作选择mian方法的class 7.之后将打包的代码以及数据上传到集群上 8.将数据放hdfs上 9.进入到spark的bin目录下 10.然后执行jar包将输出的文件写入到hdfs上 11.执行成功后在hdfs上查看数据 N
在local模式下的spark程序打包到集群上运行
weixin_30493401的博客
05-06 420
一、前期准备 　　前期的环境准备，在Linux系统下要有Hadoop系统，spark伪分布式或者分布式，具体的教程可以查阅我的这两篇博客： Hadoop2.0伪分布式平台环境搭建 Spark2.4.0伪分布式环境搭建 　　然后在spark伪分布式的环境下必须出现如下八个节点才算spark环境搭建好。 　　 　　然后再在本地windows系统下有一个简单的词频...
Spark项目打包【多图少字】
twi_twi的博客
12-15 780
Spark项目打包运行【多图少字】
pyspark打包依赖包&使用python虚拟环境
sgyuanshi的博客
03-10 9114
一、anaconda创建python环境 anaconda创建python环境 在这篇博客中，已经很清楚地描述了如何通过anaconda来创建你需要的python环境：即合适的python版本和包含你需要的依赖包。 二、打包python环境 假设我们的python环境名称为py_env，那么在anaconda的安装目录下，envs/py_env 在Windows下，直接将使用压缩软件，将其压缩为zip文件； 在Linux下，zip py_env.zip py_env。（必须py_env文件夹所在的目录下执行
【Idea 打包spark程序，集群模式下运行】
weixin_43887873的博客
05-29 2225
由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。 重试一次，自定义jar包程序运行。 1.建立scala项目 2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) main class，这边自动给我识别， 然后删除，除项目jar包以外的所有依赖，【集群环境里.
spark打包的方式
weixin_43874447的博客
12-06 1253
1、不需要第三方依赖 直接在项目的根目录下面执行如下命令： mvn package -DskipTests 2、需要第三方依赖 此时就需要在pom中添加一个第三方的插件来完成打包 <build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> ...
SBT安装及命令行打包spark程序
wuyy0224的博客
10-02 1957
该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。上面的命令输出的东西会特别多，所以也可以通过管道化来筛选跟输出指定的信息。
IDEA程序打包上传到yarn集群
最新发布
06-19
### 将 IDEA 开发的程序打包并部署到 Yarn 集群的方法 在将使用 IDEA 开发的程序打包并部署到 Yarn 集群运行时，需要完成以下关键步骤：配置 Maven 项目、打包程序、上传程序到 HDFS 并通过 `spark-submit` 或 `hadoop jar` 命令提交任务。 #### 1. 配置 Maven 项目 为了确保程序能够正确打包为包含所有依赖的 JAR 文件，需要在项目的 `pom.xml` 文件中添加适当的插件配置。以下是推荐的 `maven-assembly-plugin` 配置示例[^3]： ```xml <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> ``` 上述配置确保了在执行 `mvn package` 命令时会生成一个包含所有依赖的 JAR 文件。 #### 2. 打包程序 在 IDEA 中执行以下操作以完成程序打包： - 删除旧的 `target` 目录以避免残留文件干扰[^3]。 - 在终端中运行以下命令以生成 JAR 文件： ```bash mvn clean package -DskipTests ``` 该命令会清理旧的构建文件并重新打包程序，同时跳过测试以加快打包速度。 #### 3. 上传 JAR 文件到 HDFS 将生成的 JAR 文件（通常位于 `target` 目录下）上传到 HDFS 的指定路径。例如： ```bash hdfs dfs -put /path/to/your-jar-file.jar /hdfs/path/ ``` #### 4. 提交任务到 Yarn 集群 根据程序类型选择合适的提交方式： - **Spark 程序**： 使用 `spark-submit` 命令提交 Spark 程序到 Yarn 集群运行。例如： ```bash bin/spark-submit \ --class your.main.Class \ --master yarn \ --deploy-mode cluster \ /path/to/your-jar-file.jar ``` 如果需要传递参数，可以在 JAR 文件路径后附加参数[^1]。 - **MapReduce 程序**： 使用 `hadoop jar` 命令提交 MapReduce 程序到 Yarn 集群运行。例如： ```bash bin/hadoop jar /path/to/your-jar-file.jar your.main.Class input_path output_path ``` 其中 `input_path` 和 `output_path` 是 HDFS 上的输入和输出路径[^2]。 #### 5. 查看日志 在集群上运行任务时，可以通过日志工具类收集任务运行日志。例如，参考提供的 `InputStreamReaderRunnable` 类实现日志读取功能[^4]。 --- ### 注意事项 - 确保集群环境已正确配置 Spark 或 Hadoop。 - 在提交任务前，验证 JAR 文件是否包含所有必要的依赖项。 - 检查 HDFS 上的输入路径是否存在且数据格式正确。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值