org.apache.spark maven依赖

最新推荐文章于 2025-11-14 11:53:28 发布
转载 最新推荐文章于 2025-11-14 11:53:28 发布 · 6.5k 阅读 · 1

本文汇总了Apache Spark项目中多个模块的不同版本及其在Maven中央仓库中的被引用次数。覆盖了从早期incubating阶段到稳定版本的spark-core、spark-streaming等关键组件的版本历史。
Maven -> org.apache.spark

org.apache.spark maven依赖

org.apache.spark/spark-core_2.10共有6个版本，总共被引用了23次

被引用次数最多的版本是1.1.0，其被引用次数为8，查看引用次数柱状图。

apache

org.apache.spark/spark-core_2.9.3共有2个版本，总共被引用了22次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为13，查看引用次数柱状图。

apache

org.apache.spark/spark-streaming_2.9.3共有2个版本，总共被引用了9次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为6，查看引用次数柱状图。

apache

org.apache.spark/spark-streaming_2.10共有6个版本，总共被引用了8次

被引用次数最多的版本是0.9.0-incubating，其被引用次数为4，查看引用次数柱状图。

apache

org.apache.spark/spark-bagel_2.9.3共有2个版本，总共被引用了6次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为3，查看引用次数柱状图。

apache

org.apache.spark/spark-mllib_2.9.3共有2个版本，总共被引用了6次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为3，查看引用次数柱状图。

apache

org.apache.spark/spark-sql_2.10共有4个版本，总共被引用了3次

被引用次数最多的版本是1.2.1，其被引用次数为2，查看引用次数柱状图。

apache

org.apache.spark/spark-repl_2.10共有3个版本，总共被引用了2次

被引用次数最多的版本是0.9.1，其被引用次数为1，查看引用次数柱状图。

apache

org.apache.spark/spark-repl_2.9.3共有2个版本，总共被引用了2次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为1，查看引用次数柱状图。

apache

org.apache.spark/spark-core_2.11共有1个版本，总共被引用了1次

被引用次数最多的版本是1.2.1，其被引用次数为1。

apache

org.apache.spark/spark-streaming_2.11共有2个版本，总共被引用了0次

被引用次数最多的版本是1.2.2，其被引用次数为0。

apache

org.apache.spark/spark-catalyst_2.10共有1个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-mllib_2.10共有5个版本，总共被引用了0次

被引用次数最多的版本是1.2.2，其被引用次数为0。

apache

org.apache.spark/spark-streaming-twitter_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache streaming

org.apache.spark/spark-tools_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-streaming-kafka_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache streaming

org.apache.spark/spark-examples_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-streaming-mqtt_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache streaming

org.apache.spark/spark-assembly_2.10共有1个版本，总共被引用了0次

被引用次数最多的版本是0.9.0-incubating，其被引用次数为0。

apache

org.apache.spark/spark-tools_2.9.3共有2个版本，总共被引用了0次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为0。

apache

org.apache.spark/spark-yarn_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-yarn_2.9.3共有2个版本，总共被引用了0次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为0。

apache

org.apache.spark/spark-streaming-zeromq_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache streaming

org.apache.spark/spark-streaming-flume_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache streaming

org.apache.spark/spark-examples_2.9.3共有2个版本，总共被引用了0次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为0。

apache

org.apache.spark/spark-assembly_2.9.3共有2个版本，总共被引用了0次

被引用次数最多的版本是0.8.1-incubating，其被引用次数为0。

apache

org.apache.spark/spark-graphx_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-bagel_2.10共有3个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-ganglia-lgpl_2.10共有2个版本，总共被引用了0次

被引用次数最多的版本是1.0.0，其被引用次数为0。

apache

org.apache.spark/spark-hive_2.10共有2个版本，总共被引用了0次

被引用次数最多的版本是1.2.1，其被引用次数为0。

apache
wackycrazy
关注
SparkCore系列-11、 Maven 依赖
不积跬步无以至千里，不积小流无以成江河
08-03 1044
Spark的Maven依赖
大数据maven依赖管理
码基的博客
06-13 503
学习笔记 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
spark常见问题
xiaoxiaohacker的专栏
06-18 2295
写文章只是为了学习总结或者工作内容备忘，不保证及时性和准确性，看到的权当个参考哈！ 1. 执行Broadcast大表时，等待超时异常（awaitResult） 现象：org.apache.spark.SparkException: Exception thrown in awaitResult: java.util.concurrent.TimeoutException: Futures ...
2025终极指南：Apache Spark 常见问题解决方案与性能优化技巧
最新发布
gitblog_00683的博客
11-14 606
在大数据处理领域，Apache Spark（Apache Spark是一个开源集群计算框架）已成为事实上的标准。但许多开发者仍受困于版本兼容性问题、性能瓶颈与库集成难题。本文将系统解决15类核心问题，涵盖环境配置、数据处理、性能调优三大维度，提供可直接复用的代码示例与架构方案。读完本文，你将掌握： - 快速识别并替换10+过时依赖库的方法 - 3步解决数据倾斜的实战技巧 - 内存配置与序列化优化
maven打包spark程序并放到集群上运行（超详细！！！）
程序媛媛
09-26 4394
PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。 一、maven的配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...
spark的maven依赖
热门推荐
24koby
07-02 1万+
<properties> <spark.version>2.4.3</spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <de...
org.apache.spark 各个版本(组件)的依赖
我的博客
08-26 1797
https://search.maven.org/search?q=g:org.apache.spark%20AND%20v:2.2.0
Could not find artifact org.apache.spark:spark-core_2.11:pom: in central (https://repo.maven.apache.org/maven2)
05-23
通过访问 [Maven Central](https://search.maven.org/) 并搜索具体的模块名（如 `org.apache.spark:spark-core_2.11`），能够核实目标组合是否存在[^3]。 假设要查找的是 Spark 2.4.8 和 Scala 2.11 组合，则应在 ...
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1213
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1804
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
$ ./bin/spark-submit > --class org.apache.spark.examples.SparkPi > --master local[2] > ./examples/jars/spark-examples_2.12-3.3.1.jar > 10 Exception in thread "main" org.apache.spark.SparkException: Failed to get main class in JAR with error 'File file:/opt/module/spark-local/org.apache.spark.examples.SparkPi does not exist'. Please specify one with --class. at org.apache.spark.deploy.SparkSubmit.error(SparkSubmit.scala:975) at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:486) at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:901) at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:203) at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:90) at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1046) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1055) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
03-31
例如，如果用户使用的是Spark自带的示例JAR，主类通常是org.apache.spark.examples.SparkPi，但需要确认版本是否匹配，比如用户提到的是spark-examples_2.12-3.3.1.jar，可能需要检查对应的主类路径是否有变化。...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.getDeclaredConstructors0(Native Method) at java.lang.Class.privateGetDeclaredConstructors(Class.java:2671) at java.lang.Class.getConstructors(Class.java:1651) at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:317) at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:488) at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:376) at org.apache.spark.sql.hive.HiveExternalCatalog.client$lzycompute(HiveExternalCatalog.scala:68) at org.apache.spark.sql.hive.HiveExternalCatalog.client(HiveExternalCatalog.scala:67) at org.apache.spark.sql.hive.HiveExternalCatalog.$anonfun$databaseExists$1(HiveExternalCatalog.scala:224) at scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.java:23) at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:99) at org.apache.spark.sql.hive.HiveExternalCatalog.databaseExists(HiveExternalCatalog.scala:224) at org.apache.spark.sql.internal.SharedState.externalCatalog$lzycompute(SharedState.scala:146) at org.apache.spark.sql.internal.SharedState.externalCatalog(SharedState.scala:140) at org.apache.spark.sql.internal.SharedState.globalTempViewManager$lzycompute(SharedState.scala:176) at org.apache.spark.sql.internal.SharedState.globalTempViewManager(SharedState.scala:174) at org.apache.spark.sql.hive.HiveSessionStateBuilder.$anonfun$catalog$2(HiveSessionStateBuilder.scala:70) at org.apache.spark.sql.catalyst.catalog.SessionCatalog.globalTempViewManager$lzycompute(SessionCatalog.scala:124) at org.apache.spark.sql.catalyst.catalog.SessionCatalog.globalTempViewManager(SessionCatalog.scala:124) at org.apache.spark.sql.catalyst.catalog.SessionCatalog.setCurrentDatabaseWithNameCheck(SessionCatalog.scala:340) at org.apache.spark.sql.connector.catalog.CatalogManager.setCurrentNamespace(CatalogManager.scala:119) at org.apache.spark.sql.execution.datasources.v2.SetCatalogAndNamespaceExec.$anonfun$run$2(SetCatalogAndNamespaceExec.scala:36) at org.apache.spark.sql.execution.datasources.v2.SetCatalogAndNamespaceExec.$anonfun$run$2$adapted(SetCatalogAndNamespaceExec.scala:36) at scala.Option.foreach(Option.scala:407) at org.apache.spark.sql.execution.datasources.v2.SetCatalogAndNamespaceExec.run(SetCatalogAndNamespaceExec.scala:36) at org.apache.spark.sql.execution.datasources.v2.V2CommandExec.result$lzycompute(V2CommandExec.scala:43) at org.apache.spark.sql.execution.datasources.v2.V2CommandExec.result(V2CommandExec.scala:43) at org.apache.spark.sql.execution.datasources.v2.V2CommandExec.executeCollect(V2CommandExec.scala:49) at org.apache.spark.sql.execution.QueryExecution$$anonfun$eagerlyExecuteCommands$1.$anonfun$applyOrElse$1(QueryExecution.scala:107) at org.apache.spark.sql.execution.SQLExecution$.$anonfun$withNewExecutionId$6(SQLExecution.scala:125) at org.apache.spark.sql.execution.SQLExecution$.withSQLConfPropagated(SQLExecution.scala:201) at org.apache.spark.sql.execution.SQLExecution$.$anonfun$withNewExecutionId$1(SQLExecution.scala:108) at org.apache.spark.sql.SparkSession.withActive(SparkSession.scala:900) at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:66) at org.apache.spark.sql.execution.QueryExecution$$anonfun$eagerlyExecuteCommands$1.applyOrElse(QueryExecution.scala:107) at org.apache.spark.sql.execution.QueryExecution$$anonfun$eagerlyExecuteCommands$1.applyOrElse(QueryExecution.scala:98) at org.apache.spark.sql.catalyst.trees.TreeNode.$anonfun$transformDownWithPruning$1(TreeNode.scala:461) at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(origin.scala:76) at org.apache.spark.sql.catalyst.trees.TreeNode.transformDownWithPruning(TreeNode.scala:461) at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.org$apache$spark$sql$catalyst$plans$logical$AnalysisHelper$$super$transformDownWithPruning(LogicalPlan.scala:32) at org.apache.spark.sql.catalyst.plans.logical.AnalysisHelper.transformDownWithPruning(AnalysisHelper.scala:267) at org.apache.spark.sql.catalyst.plans.logical.AnalysisHelper.transformDownWithPruning$(AnalysisHelper.scala:263) at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.transformDownWithPruning(LogicalPlan.scala:32) at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.transformDownWithPruning(LogicalPlan.scala:32) at org.apache.spark.sql.catalyst.trees.TreeNode.transformDown(TreeNode.scala:437) at org.apache.spark.sql.execution.QueryExecution.eagerlyExecuteCommands(QueryExecution.scala:98) at org.apache.spark.sql.execution.QueryExecution.commandExecuted$lzycompute(QueryExecution.scala:85) at org.apache.spark.sql.execution.QueryExecution.commandExecuted(QueryExecution.scala:83) at org.apache.spark.sql.Dataset.<init>(Dataset.scala:220) at org.apache.spark.sql.Dataset$.$anonfun$ofRows$2(Dataset.scala:100) at org.apache.spark.sql.SparkSession.withActive(SparkSession.scala:900) at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:97) at org.apache.spark.sql.SparkSession.$anonfun$sql$4(SparkSession.scala:691) at org.apache.spark.sql.SparkSession.withActive(SparkSession.scala:900) at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:682) at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:713) at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:744) at DDL_hive.main(DDL_hive.java:36) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1.doLoadClass(IsolatedClientLoader.scala:274) at org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1.loadClass(IsolatedClientLoader.scala:263) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 58 more
11-11
我们正在处理的是Spark 3.x与Hive 3.1.3环境下出现的`java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf`异常。这个错误通常表示在运行时找不到HiveConf类，这可能是由于类路径配置不正确或...
org.apache.spark
BestZhao的博客
08-31 975
1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Python，
spark应用程序转换_Spark开发实例（编程实践）
weixin_39601194的博客
12-19 315
本节将介绍如何实际动手进行 RDD 的转换与操作，以及如何编写、编译、打包和运行 Spark 应用程序。启动 Spark ShellSpark 的交互式脚本是一种学习 API 的简单途径，也是分析数据集交互的有力工具。Spark 包含多种运行模式，可使用单机模式，也可以使用分布式模式。为简单起见，本节采用单机模式运行 Spark。无论采用哪种模式，只要启动完成后，就初始化了一个 SparkCont...
spark python教程_【Spark研究】Spark编程指南(Python版)
weixin_39650756的博客
11-20 424
Spark编程指南译者说在前面：最近在学习Spark相关的知识，在网上没有找到比较详细的中文教程，只找到了官网的教程。出于自己学习同时也造福其他初学者的目的，把这篇指南翻译成了中文，笔者水平有限，文章中难免有许多谬误，请高手不吝赐教。本文翻译自Spark Programming Guide,由于笔者比较喜欢Python，在日常中使用也比较多，所以只翻译了Python部分，不过Java和Scala大...
spark的org.apache.spark.deploy.SparkSubmit类
黑曼巴
07-03 443
待完善
maven依赖 spark sql_整理了maven中基于spark-2.3.1常用的依赖和插件
weixin_34081553的博客
02-17 437
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0com.baiduktspark1.0-SNAPSHOTjar1.81.82.1...
Spark maven
Tardis1的专栏
01-22 544
斯蒂芬斯蒂芬是的 project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs
搭建maven项目的spark的pom依赖
EstelleMan的博客
01-24 4896
&lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值