创建spark项目打包成jar包(maven打包)

最新推荐文章于 2022-12-15 21:19:12 发布

原创最新推荐文章于 2022-12-15 21:19:12 发布 · 2.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#spark #maven

大数据专栏收录该内容

8 篇文章

订阅专栏

本文详细介绍了如何使用Maven将Spark项目打包成jar包。首先，讲解了Maven的安装和配置阿里云镜像，然后指导创建Java项目，编写SimpleApp.java并设置pom.xml文件。接着，演示了使用maven打包过程，以及检查文件结构和解决可能出现的报错。最后，说明如何通过spark-submit运行生成的jar包，并展示了运行结果。

创建spark项目打包成jar包(maven打包)

安装Maven

1.下载安装包

官方：官方链接，点击下载。

百度云：百度云链接提取码：wy98

2.解压和安装maven 3.6.3

sudo unzip ~/下载/apache-maven-3.6.3-bin.zip -d /usr/local  #解压到usr/local目录
cd /usr/local
sudo mv apache-maven-3.6.3/ ./maven  #重命名
sudo chown -R hadoop ./maven

3.配置阿里云镜像

cd /usr/local/maven/conf
gedit settings.xml

添加以下内容

<mirror>
    <id>nexus-aliyun</id>  
    <mirrorOf>*,!jeecg,!jeecg-snapshots</mirrorOf>  
    <name>Nexus aliyun</name>  
    <url>http://maven.aliyun.com/nexus/content/groups/public</url> 
</mirror>

添加位置，如图所示

编写Java应用程序代码

1.创建java项目

cd ~ #进入用户主文件夹
mkdir -p ./sparkapp2/src/main/java

2.创建一个SimpleApp.java文件

vim ./sparkapp2/src/main/java/SimpleApp.java

添加如下代码：

import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.SparkConf;
 
public class SimpleApp {
    public static void main(String[] args) {
        String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system
        SparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp");
        JavaSparkContext sc=new JavaSparkContext(conf);
        JavaRDD<String> logData = sc.textFile(logFile).cache(); 
        long numAs = logData.filter(new Function<String, Boolean>() {
            public Boolean call(String s) { return s.contains("a"); }
        }).count(); 
        long numBs = logData.filter(new Function<String, Boolean>() {
            public Boolean call(String s) { return s.contains("b"); }
        }).count(); 
        System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
    }
}

3.创建pom.xml文件，和添加依赖。

cd ~/sparkapp2
gedit pom.xml

添加以下依赖。

<project>
    <groupId>cn.edu.xmu</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <repositories>
        <repository>
            <id>jboss</id>
            <name>JBoss Repository</name>
            <url>http://repository.jboss.com/maven2/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.0</version>
        </dependency>
    </dependencies>
</project>

使用maven打包java程序

1.首先检查整个应用程序的文件结构

cd ~/sparkapp2
find .

文件结构如图所示。

2.将应用程序打包为jar包（注意：因为需要下载依赖包，所以电脑需要保持为连接网络的状态）

cd ~/sparkapp2
/usr/local/maven/bin/mvn package

下载依赖包的时间比较长，请耐心等待即可。
如出现下图，说明生成Jar包成功：

如果出现报错，则继续执行第二条命令即可。

/usr/local/maven/bin/mvn package

通过apark-submit运行程序

最后，可以通过将生成的jar包放在spark中运行。

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a"

运行的结果如下：

参考文章

http://dblab.xmu.edu.cn/blog/804-2/