【Spark开发必备技能】5-1-Maven项目管理-pom.xml配置项详解

最新推荐文章于 2021-05-04 10:49:57 发布
最新推荐文章于 2021-05-04 10:49:57 发布
阅读量824 收藏 3
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lovechendongxing/article/details/81103907
本文详细解析了Maven项目管理的核心部分，包括项目坐标与信息描述、依赖JAR包的引入和剔除、项目构建及打包设置，以及Maven资源库的本地、第三方和中央仓库的管理。通过理解这些配置，能够更好地管理和构建Spark开发项目。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1、项目坐标和信息描述

2、引入依赖的JAR包

    2.1、剔除想要排除的JAR包

3、构建项目

4、资源库

一个基本项目的pom.xml文件，通常至少包含以下4个部分：

1、项目坐标和信息描述

  •     项目坐标：

        指的是项目在maven资源库的坐标，通过 groupId + artifactId + version 进行表示。

        groupId：用于指定当前项目所属的组，格式一般是com.组织名.项目名，如图中的com.baidu.dcs。

        artifactId：当前项目所属组的唯一的ID号，如图中的：maven-test

        version：用于指定当前项目的版本编号。比如：1.0-SNAPSHOT。后面的SNAPSHOT指正在开发中的项目。

  •     信息描述
    modelVersion：pom文件的模型版本

    

2、引入依赖的JAR包

    配置依赖的JAR包信息，Maven会从远程仓库自动下载这个JAR到本地仓库，下载完后，就可以在项目中使用这个JAR了

    引入方法：在<dependencies></dependencies>标签中配置需要的JAR包的项目坐标信息，用<dependency></dependency>标签包含

      &nb

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark技术咖
关注
大数据学习之Spark——00Spark项目的pom.xml文件
bingque6535的博客
07-21 457
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"&g
【Spark开发必备技能】5-2-Maven项目管理-新增依赖包配置
Spark技术咖的博客
07-18 798
目录 1、Maven中心储存库查询依赖包信息 2、修改pom.xml，新增依赖包配置 1、Maven中心储存库查询依赖包信息     URL:http://mvnrepository.com     a、比如想添加MySql JDBC的依赖jar包，可以搜索“MySql JDBC”，得到如下图          b、点击进去，可以看到所有版本          c、假设我们选择8...
对于maven创建spark项目的pom.xml配置文件（图文详解）
weixin_34378767的博客
08-28 2004
    　　不多说，直接上干货！   http://mvnrepository.com/             　　这里，怎么创建，见 Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（博主强烈推荐)       　　这里， 我重点说下spark项目，因为，对于hadoop...
spark的pom.xml
youmianzhou的博客
11-15 833
一个spark任务提交前需要用idea打包代码，pom.xml设置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> &lt
一个spark的maven的pom.xml参考
Zjhao666的博客
10-13 524
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/mave...
黑猴子的家：Spark Maven pom.xml 简述
黑猴子的博客
09-12 188
&lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m
Idea中搭建Spark开发环境：Maven、Scala与依赖配置详解
总结来说，这篇文档提供了如何在IntelliJ IDEA上使用Maven作为构建工具，结合Scala和Spark进行大数据处理应用的完整环境配置步骤，包括了Scala插件的安装，Maven仓库的配置，依赖项的添加，以及项目的构建和测试。...
spark-java-sample:使用Spark Java的示例项目
05-19
如果使用Maven，可以在`pom.xml`中添加Spark的依赖项。 2. 编写主类，初始化Spark服务并定义路由。 3. 创建控制器类，处理具体的业务逻辑。 4. 如果需要，设置静态资源路径和使用模板引擎。 5. 运行项目，通过浏览器...
flink-1.10.2-bin-scala_2.12.tgz
12-01
3. **配置编译**：修改`pom.xml`文件，确保依赖项与CDH6.3.2兼容，特别是Hadoop版本。 4. **编译与构建**：运行`mvn clean package -DskipTests`命令，这将编译源码并创建可部署的二进制包。 5. **验证与测试**：...
spark与scala兼容的pom.xml文件
09-29
在IDEA搭建spark集群，遇到与scala冲突，我提供一个比较完整的pom.xml的文件，供大家分享。
Maven搭建Spark的配置文件
03-15
由于IDEA的SBT框架建立过程特别缓慢以至于无法建立。所以下面介绍一种基于IDEA的Maven框架搭建Spark开发环境，只需要建立添加Maven模块并导入该XML配置文件即可，注意其中的Spark版本和Scala版本要相互匹配。如有任何问题可以留言。
Spark Streaming的maven配置pom.xml
u013429010的博客
10-12 5066
不多说，直接查询相关的内容 https://mvnrepository.com/search?q=spark 我们可以看到很多常见的东西，spark-core,spark-sql,spark-streaming等等 点开这些链接进入到版本列表界面，选择自己需要的配置 spark-core spark-streaming 这里就不一一说明了，下面我直接列出一个已经测试成功的pom.xml &amp;amp;l...
spark的java项目的pom文件
join_null的博客
08-09 2425
&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4....
spark的maven项目的pom文件
sheep8521的博客
10-09 5952
这里是引用 &amp;amp;amp;amp;lt;properties&amp;amp;amp;amp;gt; &amp;amp;amp;amp;lt;maven.compiler.source&amp;amp;amp;amp;gt;1.8&amp;amp;amp;amp;lt;/maven.compiler.source&amp;amp;amp;amp;gt; &amp;amp;amp;amp;lt;maven.co
IDEA搭建spark maven项目的 pom.xml文件配置
weixin_36815898的博客
05-04 2901
pom.xml文件配置如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/m..
【spark】创建一个基于maven的spark项目所需要的pom.xml文件模板
baibaiw5的博客
02-17 5533
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> 4.0.0 com.xxxx test jar testit 1.0.0 nexus OS China http://maven.oschina.net/conte
Spark工程的pom文件示例
weixin_34365417的博客
06-12 797
2019独角兽企业重金招聘Python工程师标准>>> ...
spark java pom.xml_对于maven创建spark项目的pom.xml配置文件（图文详解）
weixin_31002061的博客
02-16 744
不多说，直接上干货！http://mvnrepository.com/这里，怎么创建，见这里， 我重点说下spark项目，因为，对于hadoop这样的，我已经写了大量博客了。比如，我目前用得较多的spark-mllib。这里spark-mllib_2.10就是你的scala版本是2.10.X系列。比如我一般是使用scala-2.10.4。这里spark-mllib_2.11就是你的scala版...
IDEA Spark maven pom.xml配置
gz_liuyun的博客
03-27 8608
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">     4.0.0     com.meituan.bp
Maven项目基石：详解pom.xml配置
Maven是一个流行的开源项目管理和构建工具，它通过pom.xml文件进行项目配置，使得管理项目依赖、构建过程和生命周期变得简单。本文将深入解析pom.xml配置文件在Maven中的核心作用以及基本结构。 首先，**setting....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值