1、在Eclipse中创建一个Maven工程:
File->New->Project->Maven Project。
接下来参考https://blog.youkuaiyun.com/farawayzheng_necas/article/details/54574279
链接中“新建项目”以下的内容。其中“填写Maven project的相关信息”下面对话框中的Name可空着不填。
关于Maven项目了解参考https://www.linuxidc.com/Linux/2018-01/150150.htm
2、添加spark依赖包
右键工程名->Properties->Java Build Path->Libraries->Add External Jars->Spark安装包中的jars(如:/usr/local/spark/jars)
3、修改pom.xml文件
内容如下:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
< modelVersion>4.0.0</ modelVersion>
<groupId>com.wby</groupId> //对应自己创建工程时填的
<artifactId>TestSpark</artifactId> //对应自己创建工程时填的
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>//对应自己创建工程时选的
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.3</version> //对应自己spark版本,可通过启动Spark Shell看到
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-launcher_2.11</artifactId>
<version>2.3.3</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.3.3</version>
</dependency>
</dependencies>
</project>
4、添加类
参考https://blog.youkuaiyun.com/farawayzheng_necas/article/details/54574279
但要按照我的这条博客“Spark开发 Java程序运行时提示异常。。。”做适当修改,否则执行失败。
5、配置JRE System Library
右键JRE System Library->Execution Environment->选择JavaSE-1.8。