创建spark项目打包成jar包(maven打包)

本文详细介绍了如何使用Maven将Spark项目打包成jar包。首先,讲解了Maven的安装和配置阿里云镜像,然后指导创建Java项目,编写SimpleApp.java并设置pom.xml文件。接着,演示了使用maven打包过程,以及检查文件结构和解决可能出现的报错。最后,说明如何通过spark-submit运行生成的jar包,并展示了运行结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

创建spark项目打包成jar包(maven打包)

安装Maven

1.下载安装包

官方:官方链接,点击下载。

YUyKDf.png

百度云:百度云链接 提取码:wy98

2.解压和安装maven 3.6.3

sudo unzip ~/下载/apache-maven-3.6.3-bin.zip -d /usr/local  #解压到usr/local目录
cd /usr/local
sudo mv apache-maven-3.6.3/ ./maven  #重命名
sudo chown -R hadoop ./maven

3.配置阿里云镜像

cd /usr/local/maven/conf
gedit settings.xml

添加以下内容

<mirror>
    <id>nexus-aliyun</id>  
    <mirrorOf>*,!jeecg,!jeecg-snapshots</mirrorOf>  
    <name>Nexus aliyun</name>  
    <url>http://maven.aliyun.com/nexus/content/groups/public</url> 
</mirror>

添加位置,如图所示

YU6HkF.png

编写Java应用程序代码

1.创建java项目

cd ~ #进入用户主文件夹
mkdir -p ./sparkapp2/src/main/java

2.创建一个SimpleApp.java文件

vim ./sparkapp2/src/main/java/SimpleApp.java

添加如下代码:

import org.apache
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值