spark项目打包流程

最新推荐文章于 2024-05-10 08:41:16 发布
原创 最新推荐文章于 2024-05-10 08:41:16 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文介绍了在Windows系统上解决Spark项目运行时因缺少winutils.exe导致的错误，提供了下载和配置hadoop.home.dir的解决方案。同时详细阐述了Spark项目的打包流程，包括删除META-INF目录、构建Artifacts、删除不需要的文件、重建和查找打包后的文件。

注意：在windows系统上测试spark代码时如果报缺少winutils.exe的错误，下载下面文件然后解压，需要在程序运行的开始加上  

System.setProperty("hadoop.home.dir", "xxx/hadoop-common-2.7.3-bin-master")

文件链接：

 hadoop-common-2.7.3-bin-master.zip

打包流程

1.如果不是第一次打包，如果项目中有META-INF目录就把这个文件夹删除，否则会报错

1.Buid--->Buid Atrifacts...

 

最低0.47元/天 解锁文章
spark打包的方式
weixin_43874447的博客
12-06 1249
1、不需要第三方依赖 直接在项目的根目录下面执行如下命令： mvn package -DskipTests 2、需要第三方依赖 此时就需要在pom中添加一个第三方的插件来完成打包 <build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> ...
Spark项目打包【多图少字】
twi_twi的博客
12-15 779
Spark项目打包运行【多图少字】
idea 新建项目并打包（java，spark）
01-20
1.idea新建一个工程 2.创建maven工程 3.创建工程名 4.注意勾选的就可以了 5.继续点击finish 就可以了 6.这里的java 不为source ，直接选ctrl+alt +s ，搜索 maven =》 import =》勾选 即可 7.修改pom 文件 junit junit 4.11 test org.wso2.siddhi siddhi-core 4.5.10 org.wso2.siddhi siddhi-query-api 4.5.10
spark打包详解
weixin_30888027的博客
05-21 393
　　spark打包还是比较复杂的，特别的其中有关R语言的模块。在本章，我就将其中遇到的所有问题为大家一一讲解，为大家提供一点经验。 　　这里的打包命令是直接从官网中找的，这里我们最后得到的是tgz格式的包。打包的命令是——./dev/make-distribution.sh --name custom-spark --pip --r --tgz -Psparkr -Phadoop-2....
Apache Spark 编译、打包过程
终回首的博客
08-02 1191
目录1 下载源码 版本： Ubuntu 20.04.2 LTS Apache Maven 3.6.3 JDK 1.8 R 3.1.1 1 下载源码 # 下载源码，推荐这样下载 git clone https://github.com/apache/spark.git # 查看所有的tag，每个tag都是一个版本 git tag # 切换到指定版本,这里我要编译的版本是2.4.0 git checkout v2.4.0 ...
java spark程序打包_Spark - 程序多种打包运行方案
weixin_30562977的博客
03-02 621
想不想把spark项目打包更快一点？如果把几百M的依赖包打成一个包是很花时间的，少则1分钟，多则几分钟，这些时间还不如留着跟前台妹子聊会天呢，经过几百遍的测试，平时要花1分20秒才能打成的jar包，现在只需要9秒，没错你没听错就是9秒，咳咳....，好了不吹牛了回归正文吧。使用方法build.gradlegroup 'com.dounine'version '1.0.0-SNAPSHOT'appl...
Scala实现Spark项目打包教程与源代码下载
资源摘要信息:"该资源是一份基于Maven依赖管理，使用Scala语言编写的Apache Spark应用程序的项目，其中包含了打包好的jar文件、源代码以及项目文档说明。该资源项目适合计算机相关专业的学生、教师和企业工作人员...
Spark各阶段执行流程简介（图片）
杯莫廷的博客
12-17 1105
Spark各过程详解图 Spark 是美国加州大学伯克利分校的 AMP 实验室（主要创始人 lester 和 Matei）开发的 通用的大数据处理框架。 本文就以下几个小方面来简介一下spark各阶段的流程： 包括Spark启动过程，Spark运行原理框架图，Spark stage阶段划分算法，SparkContext的构建过程，Spark-on-yarn模式讲解，SparkMasterHA机制，...
spark3的打包
qq_43662627的博客
08-06 287
网上有很多关于spark如何打包的文章，但有一些是很老的，不适用于spark3版本的scala2.1以上 一 导入依赖 这是新的版本的scala打包插件要导入依赖 <!-- https://mvnrepository.com/artifact/net.alchim31.maven/scala-maven-plugin --> <dependency> <groupId>net.alchim31.maven</g
spark数据开发业务流程总结
lhxsir的博客
03-07 661
（一）接到新业务流程： (a)应用设计文档 (b)计算逻辑文档 根据这两个文档，整理业务流程 （二）接下来根据业务中伪代码，整理出hive-SQL (a)考虑命名规范 (b)考虑存储格式 （三）整理好SQL之后开始代码开发 (a)建表建字段（类型如何选择） (b)建模块写代码 （四）最后核对数据（重点） （五）问题汇总： (1)先建表 后执行代码 (2) 建表时 先执行use db (3)从小宽表...
spark编译打包步骤
最新发布
qq_21591673的博客
05-10 483
2.定义jar包名称，双击右侧栏以“output”为后缀的文件到左侧，表示已添加工程至jar包中。6.将windows本地文件路径中保存的jar包拖入到xshell指定路径下。3.选择菜单栏中的“Build”->“Build Artifacts”选项。4.在弹窗中选择“yjw”->“Build”选项。7.输入命令提交Spark程序到集群。5.完成后将出现/out目录。
如何将spark程序打jar包并上传至本地集群环境运行
weixin_41765352的博客
12-28 5393
如何将spark程序打jar包，并上传至本地集群环境运行
spark本地工程的三种打包方案及一点经验总结
千淘万漉
12-19 4063
在本地的spark写成并自测通过后，需要打成jar包并提交到集群，下面是几种打包方案 第一种：通过idea的build artifacts 1.先把meta-inf这个文件夹删掉，如果是第一次build，这个文件夹自然是不存在的 2.到build中点击build artifacts, 如果这个按钮是灰的，到project structure中edit，生成的jar包在out下 点击bu...
【Idea 打包spark程序，集群模式下运行】
weixin_43887873的博客
05-29 2223
由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。 重试一次，自定义jar包程序运行。 1.建立scala项目 2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) main class，这边自动给我识别， 然后删除，除项目jar包以外的所有依赖，【集群环境里.
Spark入门（二）：打包程序、提交任务到集群
源码有毒的专栏
08-11 2369
1.环境工具1.1环境 系统 centos jdk 1.8.0_144 scala 2.11.8 hadoop 2.7.3 spark 2.1.0 1.2打包工具IDEA + sbt2.打包2.1安装插件需要预先安装scala插件，点击File ->Setting ->Plugins ->输入框输入scala->install 安装完成需要重启IDE2.2创建
spark打包jar连接hive数据源完整过程
热门推荐
java技术分享
02-11 1万+
java打包spark jar包访问hive数据源
Spark项目打包+日志输出格式
WCL0520的博客
09-22 625
一、项目打包方式 Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。 注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码： <plugin> <groupId>org.scala-tools</groupId>
Spark项目打包优化实践
愤怒的小兵
12-28 716
问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消耗多很多时间，因此需对此过程进行优化。 优化方案 方案1：一次全量上传jar包，后续增量更新class POM文件配置（Maven） <dependencies> <dependency> <groupId>org.apache.spark</groupId>
Spark开发工程师（含项目）
02-21
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值