Spark1.0.0 应用程序部署工具spark-submit

本文介绍Spark1.0.0中提供的应用程序部署工具spark-submit的使用方法及注意事项,包括支持的资源管理器、命令行参数、部署模式等,并通过实际案例展示如何在不同环境下部署Spark应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

      随着Spark的应用越来越广泛,对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现,这个问题得到了逐步改善。从S park1.0.0开始,Spark提供了一个容易上手的应用程序部署工具bin/spark-submit,可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。

1:使用说明
      进入$SPARK_HOME目录,输入bin/spark-submit --help可以得到该命令的使用帮助。
hadoop@wyy:/app/hadoop/spark100$ bin/spark-submit --help
Usage: spark-submit [options] <app jar | python file> [app options]
Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.
  --deploy-mode DEPLOY_MODE   driver运行之处,client运行在本机,cluster运行在集群
  --class CLASS_NAME          应用程序包的要运行的class
  --name NAME                 应用程序名称
  --jars JARS                 用逗号隔开的driver本地jar包列表以及executor类路径
  --py-files PY_FILES         用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
  --files FILES               用逗号隔开的要放置在每个executor工作目录的文件列表
  --properties-file FILE      设置应用程序属性的文件放置位置,默认是conf/spark-defaults.conf
  --driver-memory MEM         driver内存大小,默认512M
  --driver-java-options       driver的java选项
  --driver-library-path       driver的库路径Extra library path entries to pass to the driver
  --driver-class-path         driver的类路径,用--jars 添加的jar包会自动包含在类路径里
  --executor-memory MEM       executor内存大小,默认1G

 Spark standalone with cluster deploy mode only:
  --driver-cores NUM          driver使用内核数,默认为1
  --supervise                 如果设置了该参数,driver失败是会重启

 Spark standalone and Mesos only:
  --total-executor-cores NUM  executor使用的总核数

 YARN-only:
  --executor-cores NUM        每个executor使用的内核数,默认为1
  --queue QUEUE_NAME          提交应用程序给哪个YARN的队列,默认是default队列
  --num-executors NUM         启动的executor数量,默认是2个
  --archives ARCHIVES         被每个executor提取到工作目录的档案列表,用逗号隔开

      关于以上spark-submit的help信息,有几点需要强调一下:
  • 关于--master  --deploy-mode,正常情况下,可以不需要配置--deploy-mode,使用下面的值配置--master就可以了,使用类似 --master spark://host:port --deploy-mode cluster会将driver提交给cluster,然后就将worker给kill的现象。
 Master URL 含义
 local 使用1个worker线程在本地运行Spark应用程序
 local[K] 使用K个worker线程在本地运行Spark应用程序
 local[*] 使用所有剩余worker线程在本地运行Spark应用程序
 spark://HOST:PORT 连接到Spark Standalone集群,以便在该集群上运行Spark应用程序
 mesos://HOST:PORT 连接到Mesos集群,以便在该集群上运行Spark应用程序
 yarn-client 以client方式连接到YARN集群,集群的定位由环境变量HADOOP_CONF_DIR定义,该方式driver在client运行。
 yarn-cluster 以cluster方式连接到YARN集群,集群的定位由环境变量HADOOP_CONF_DIR定义,该方式driver也在集群中运行。
  • 如果要使用--properties-file的话,在--properties-file中定义的属性就不必要在spark-sumbit中再定义了,比如在conf/spark-defaults.conf 定义了spark.master,就可以不使用--master了。关于Spark属性的优先权为:SparkConf方式 > 命令行参数方式 >文件配置方式具体参见Spark1.0.0属性配置
  • 和之前的版本不同,Spark1.0.0会将自身的jar包和--jars选项中的jar包自动传给集群。
  • Spark使用下面几种URI来处理文件的传播:
    • file:// 使用file://和绝对路径,是由driver的HTTP server来提供文件服务,各个executor从driver上拉回文件。
    • hdfs:, http:, https:, ftp: executor直接从URL拉回文件
    • local: executor本地本身存在的文件,不需要拉回;也可以是通过NFS网络共享的文件。
  • 如果需要查看配置选项是从哪里来的,可以用打开--verbose选项来生成更详细的运行信息以做参考。

2:测试环境
  • 测试程序来源于使用IntelliJ IDEA开发Spark1.0.0应用程序,将测试其中的WordCount1和WordCount2这两个Class。
  • 测试数据来源于搜狗的用户查询日志(SogouQ),详见Spark1.0.0 开发环境快速搭建,虽然用这个数据集测试不是很理想,但由于其完整版足够大,可以分割其中部分数据进行测试,在加上其他例程需要使用,将就采用了这个数据集。实验中分别截取100000行(SogouQ1.txt)和200000行(SogouQ2.txt)做实验。

3:准备工作
A:集群
切换到用户hadoop启动 Spark1.0.0 开发环境快速搭建中搭建的虚拟集群
[hadoop@hadoop1 ~]$ su - hadoop
[hadoop@hadoop1 ~]$ cd /app/hadoop/hadoop220
[hadoop@hadoop1 hadoop220]$ sbin/start-all.sh
[hadoop@hadoop1 hadoop220]$ cd ../spark100/
[hadoop@hadoop1 spark100]$ sbin/start-all.sh

B:客户端
在客户端切换到用户hadoop并切换到/app/hadoop/spark100目录,将实验数据上传hadoop集群,然后将 使用IntelliJ IDEA开发Spark1.0.0应用程序生成的程序包复制过来。
mmicky@wyy:~/data$ su - hadoop
hadoop@wyy:~$ cd /app/hadoop/hadoop220
hadoop@wyy:/app/hadoop/hadoop220$ bin/hdfs dfs -mkdir -p /dataguru/data
hadoop@wyy:/app/hadoop/hadoop220$ bin/hdfs dfs -put /home/mmicky/data/SogouQ1.txt /dataguru/data/
hadoop@wyy:/app/hadoop/hadoop220$ bin/hdfs dfs -put /home/mmicky/data/SogouQ2.txt /dataguru/data/
检查SogouQ1.txt的块分布,以后数据本地性分析的时候会用到
hadoop@wyy:/app/hadoop/hadoop220$ bin/hdfs fsck /dataguru/data/SogouQ1.txt -files -blocks -locations -racks
Connecting to namenode via http://hadoop1:50070
FSCK started by hadoop (auth:SIMPLE) from /192.168.1.111 for path /dataguru/data/SogouQ1.txt at Sat Jun 14 03:47:39 CST 2014
/dataguru/data/SogouQ1.txt 108750574 bytes, 1 block(s):  OK
0. BP-1801429707-192.168.1.171-1400957381096:blk_1073741835_1011 len=108750574 repl=1 [/default-rack/192.168.1.171:50010]

检查SogouQ2.txt的块分布 ,以后数据本地性分析的时候会用到
hadoop@wyy:/app/hadoop/hadoop220$ bin/hdfs fsck /dataguru/data/SogouQ2.txt -files -blocks -locations -racks
Connecting to namenode via http://hadoop1:50070
FSCK started by hadoop (auth:SIMPLE) from /192.168.1.111 for path /dataguru/data/SogouQ2.txt at Sat Jun 14 03:48:07 CST 2014
/dataguru/data/SogouQ2.txt 217441417 bytes, 2 block(s):  OK
0. BP-1801429707-192.168.1.171-1400957381096:blk_1073741836_1012 len=134217728 repl=1 [/default-rack/192.168.1.173:50010]
1. BP-1801429707-192.168.1.171-1400957381096:blk_1073741837_1013 len=83223689 repl=1 [/default-rack/192.168.1.172:50010]

切换到spark目录并复制程序包
hadoop@wyy:/app/hadoop/hadoop220$ cd ../spark100
hadoop@wyy:/app/hadoop/spark100$ cp /home/mmicky/IdeaProjects/week2/out/artifacts/week2/week2.jar .

4:实验
下面给出了几种实验CASE的命令,具体的运行架构会抽取几个例子在 Spark1.0.0 on Standalone 运行架构实例解析说明。

在使用spark-submit提交spark应用程序的时候,需要注意以下几点:
  • 集群外的客户机向Spark Standalone部署Spark应用程序时,要注意事先实现该客户机和Spark Standalone之间的SSH无密码登录。
  • 向YARN部署spark应用程序的时候,注意executor-memory的大小,其内存加上container要使用的内存(默认值是1G)不要超过NM可用内存,不然分配不到container来运行executor。
  • 关于python程序的部署可以参考Spark1.0.0 多语言编程之python实现 和 Spark1.0.0 on YARN 模式部署 。

[root@node1 server]# hdfs dfs -ls /spark/jars/ Found 146 items -rw-r--r-- 3 hadoop supergroup 232470 2025-08-04 19:54 /spark/jars/JLargeArrays-1.5.jar -rw-r--r-- 3 hadoop supergroup 1175798 2025-08-04 19:54 /spark/jars/JTransforms-3.1.jar -rw-r--r-- 3 hadoop supergroup 325335 2025-08-04 19:54 /spark/jars/RoaringBitmap-0.7.45.jar -rw-r--r-- 3 hadoop supergroup 134044 2025-08-04 19:54 /spark/jars/aircompressor-0.10.jar -rw-r--r-- 3 hadoop supergroup 1168113 2025-08-04 19:54 /spark/jars/algebra_2.12-2.0.0-M2.jar -rw-r--r-- 3 hadoop supergroup 336803 2025-08-04 19:54 /spark/jars/antlr4-runtime-4.7.1.jar -rw-r--r-- 3 hadoop supergroup 27006 2025-08-04 19:54 /spark/jars/aopalliance-repackaged-2.6.1.jar -rw-r--r-- 3 hadoop supergroup 1194003 2025-08-04 19:54 /spark/jars/arpack_combined_all-0.1.jar -rw-r--r-- 3 hadoop supergroup 64674 2025-08-04 19:54 /spark/jars/arrow-format-0.15.1.jar -rw-r--r-- 3 hadoop supergroup 105777 2025-08-04 19:54 /spark/jars/arrow-memory-0.15.1.jar -rw-r--r-- 3 hadoop supergroup 1437215 2025-08-04 19:54 /spark/jars/arrow-vector-0.15.1.jar -rw-r--r-- 3 hadoop supergroup 176285 2025-08-04 19:54 /spark/jars/automaton-1.11-8.jar -rw-r--r-- 3 hadoop supergroup 1556863 2025-08-04 19:54 /spark/jars/avro-1.8.2.jar -rw-r--r-- 3 hadoop supergroup 132989 2025-08-04 19:54 /spark/jars/avro-ipc-1.8.2.jar -rw-r--r-- 3 hadoop supergroup 187052 2025-08-04 19:54 /spark/jars/avro-mapred-1.8.2-hadoop2.jar -rw-r--r-- 3 hadoop supergroup 134696 2025-08-04 19:54 /spark/jars/breeze-macros_2.12-1.0.jar -rw-r--r-- 3 hadoop supergroup 13826799 2025-08-04 19:54 /spark/jars/breeze_2.12-1.0.jar -rw-r--r-- 3 hadoop supergroup 3226851 2025-08-04 19:54 /spark/jars/cats-kernel_2.12-2.0.0-M4.jar -rw-r--r-- 3 hadoop supergroup 58684 2025-08-04 19:54 /spark/jars/chill-java-0.9.5.jar -rw-r--r-- 3 hadoop supergroup 211523 2025-08-04 19:54 /spark/jars/chill_2.12-0.9.5.jar -rw-r--r-- 3 hadoop supergroup 284184 2025-08-04 19:54 /spark/jars/commons-codec-1.10.jar -rw-r--r-- 3 hadoop supergroup 71626 2025-08-04 19:54 /spark/jars/commons-compiler-3.0.16.jar -rw-r--r-- 3 hadoop supergroup 365552 2025-08-04 19:54 /spark/jars/commons-compress-1.8.1.jar -rw-r--r-- 3 hadoop supergroup 134595 2025-08-04 19:54 /spark/jars/commons-crypto-1.0.0.jar -rw-r--r-- 3 hadoop supergroup 284220 2025-08-04 19:54 /spark/jars/commons-lang-2.6.jar -rw-r--r-- 3 hadoop supergroup 503880 2025-08-04 19:54 /spark/jars/commons-lang3-3.9.jar -rw-r--r-- 3 hadoop supergroup 2035066 2025-08-04 19:54 /spark/jars/commons-math3-3.4.1.jar -rw-r--r-- 3 hadoop supergroup 273370 2025-08-04 19:54 /spark/jars/commons-net-3.1.jar -rw-r--r-- 3 hadoop supergroup 197176 2025-08-04 19:54 /spark/jars/commons-text-1.6.jar -rw-r--r-- 3 hadoop supergroup 79845 2025-08-04 19:54 /spark/jars/compress-lzf-1.0.3.jar -rw-r--r-- 3 hadoop supergroup 164422 2025-08-04 19:54 /spark/jars/core-1.1.2.jar -rw-r--r-- 3 hadoop supergroup 18497 2025-08-04 19:54 /spark/jars/flatbuffers-java-1.9.0.jar -rw-r--r-- 3 hadoop supergroup 14395 2025-08-04 19:54 /spark/jars/generex-1.0.2.jar -rw-r--r-- 3 hadoop supergroup 234942 2025-08-04 19:54 /spark/jars/hive-storage-api-2.7.1.jar -rw-r--r-- 3 hadoop supergroup 200223 2025-08-04 19:54 /spark/jars/hk2-api-2.6.1.jar -rw-r--r-- 3 hadoop supergroup 203358 2025-08-04 19:54 /spark/jars/hk2-locator-2.6.1.jar -rw-r--r-- 3 hadoop supergroup 131590 2025-08-04 19:54 /spark/jars/hk2-utils-2.6.1.jar -rw-r--r-- 3 hadoop supergroup 27156 2025-08-04 19:54 /spark/jars/istack-commons-runtime-3.0.8.jar -rw-r--r-- 3 hadoop supergroup 1282424 2025-08-04 19:54 /spark/jars/ivy-2.4.0.jar -rw-r--r-- 3 hadoop supergroup 67889 2025-08-04 19:54 /spark/jars/jackson-annotations-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 348635 2025-08-04 19:54 /spark/jars/jackson-core-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 1400944 2025-08-04 19:54 /spark/jars/jackson-databind-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 46646 2025-08-04 19:54 /spark/jars/jackson-dataformat-yaml-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 105898 2025-08-04 19:54 /spark/jars/jackson-datatype-jsr310-2.10.3.jar -rw-r--r-- 3 hadoop supergroup 34991 2025-08-04 19:54 /spark/jars/jackson-module-jaxb-annotations-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 43740 2025-08-04 19:54 /spark/jars/jackson-module-paranamer-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 341862 2025-08-04 19:54 /spark/jars/jackson-module-scala_2.12-2.10.0.jar -rw-r--r-- 3 hadoop supergroup 44399 2025-08-04 19:54 /spark/jars/jakarta.activation-api-1.2.1.jar -rw-r--r-- 3 hadoop supergroup 25058 2025-08-04 19:54 /spark/jars/jakarta.annotation-api-1.3.5.jar -rw-r--r-- 3 hadoop supergroup 18140 2025-08-04 19:54 /spark/jars/jakarta.inject-2.6.1.jar -rw-r--r-- 3 hadoop supergroup 91930 2025-08-04 19:54 /spark/jars/jakarta.validation-api-2.0.2.jar -rw-r--r-- 3 hadoop supergroup 140376 2025-08-04 19:54 /spark/jars/jakarta.ws.rs-api-2.1.6.jar -rw-r--r-- 3 hadoop supergroup 115498 2025-08-04 19:54 /spark/jars/jakarta.xml.bind-api-2.3.2.jar -rw-r--r-- 3 hadoop supergroup 926574 2025-08-04 19:54 /spark/jars/janino-3.0.16.jar -rw-r--r-- 3 hadoop supergroup 780265 2025-08-04 19:54 /spark/jars/javassist-3.25.0-GA.jar -rw-r--r-- 3 hadoop supergroup 95806 2025-08-04 19:54 /spark/jars/javax.servlet-api-3.1.0.jar -rw-r--r-- 3 hadoop supergroup 1013367 2025-08-04 19:54 /spark/jars/jaxb-runtime-2.3.2.jar -rw-r--r-- 3 hadoop supergroup 16537 2025-08-04 19:54 /spark/jars/jcl-over-slf4j-1.7.30.jar -rw-r--r-- 3 hadoop supergroup 244502 2025-08-04 19:54 /spark/jars/jersey-client-2.30.jar -rw-r--r-- 3 hadoop supergroup 1166647 2025-08-04 19:54 /spark/jars/jersey-common-2.30.jar -rw-r--r-- 3 hadoop supergroup 32091 2025-08-04 19:54 /spark/jars/jersey-container-servlet-2.30.jar -rw-r--r-- 3 hadoop supergroup 73349 2025-08-04 19:54 /spark/jars/jersey-container-servlet-core-2.30.jar -rw-r--r-- 3 hadoop supergroup 76733 2025-08-04 19:54 /spark/jars/jersey-hk2-2.30.jar -rw-r--r-- 3 hadoop supergroup 85815 2025-08-04 19:54 /spark/jars/jersey-media-jaxb-2.30.jar -rw-r--r-- 3 hadoop supergroup 927721 2025-08-04 19:54 /spark/jars/jersey-server-2.30.jar -rw-r--r-- 3 hadoop supergroup 83632 2025-08-04 19:54 /spark/jars/json4s-ast_2.12-3.6.6.jar -rw-r--r-- 3 hadoop supergroup 482486 2025-08-04 19:54 /spark/jars/json4s-core_2.12-3.6.6.jar -rw-r--r-- 3 hadoop supergroup 36175 2025-08-04 19:54 /spark/jars/json4s-jackson_2.12-3.6.6.jar -rw-r--r-- 3 hadoop supergroup 349025 2025-08-04 19:54 /spark/jars/json4s-scalap_2.12-3.6.6.jar -rw-r--r-- 3 hadoop supergroup 33031 2025-08-04 19:54 /spark/jars/jsr305-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 4592 2025-08-04 19:54 /spark/jars/jul-to-slf4j-1.7.30.jar -rw-r--r-- 3 hadoop supergroup 410874 2025-08-04 19:54 /spark/jars/kryo-shaded-4.0.2.jar -rw-r--r-- 3 hadoop supergroup 775174 2025-08-04 19:54 /spark/jars/kubernetes-client-4.9.2.jar -rw-r--r-- 3 hadoop supergroup 11908731 2025-08-04 19:54 /spark/jars/kubernetes-model-4.9.2.jar -rw-r--r-- 3 hadoop supergroup 3954 2025-08-04 19:54 /spark/jars/kubernetes-model-common-4.9.2.jar -rw-r--r-- 3 hadoop supergroup 1045744 2025-08-04 19:54 /spark/jars/leveldbjni-all-1.8.jar -rw-r--r-- 3 hadoop supergroup 12488 2025-08-04 19:54 /spark/jars/logging-interceptor-3.12.6.jar -rw-r--r-- 3 hadoop supergroup 649950 2025-08-04 19:54 /spark/jars/lz4-java-1.7.1.jar -rw-r--r-- 3 hadoop supergroup 33786 2025-08-04 19:54 /spark/jars/machinist_2.12-0.6.8.jar -rw-r--r-- 3 hadoop supergroup 3180 2025-08-04 19:54 /spark/jars/macro-compat_2.12-1.1.1.jar -rw-r--r-- 3 hadoop supergroup 7343426 2025-08-04 19:54 /spark/jars/mesos-1.4.0-shaded-protobuf.jar -rw-r--r-- 3 hadoop supergroup 105365 2025-08-04 19:54 /spark/jars/metrics-core-4.1.1.jar -rw-r--r-- 3 hadoop supergroup 22042 2025-08-04 19:54 /spark/jars/metrics-graphite-4.1.1.jar -rw-r--r-- 3 hadoop supergroup 20889 2025-08-04 19:54 /spark/jars/metrics-jmx-4.1.1.jar -rw-r--r-- 3 hadoop supergroup 16642 2025-08-04 19:54 /spark/jars/metrics-json-4.1.1.jar -rw-r--r-- 3 hadoop supergroup 23909 2025-08-04 19:54 /spark/jars/metrics-jvm-4.1.1.jar -rw-r--r-- 3 hadoop supergroup 5711 2025-08-04 19:54 /spark/jars/minlog-1.3.0.jar -rw-r--r-- 3 hadoop supergroup 4153218 2025-08-04 19:54 /spark/jars/netty-all-4.1.47.Final.jar -rw-r--r-- 3 hadoop supergroup 54391 2025-08-04 19:54 /spark/jars/objenesis-2.5.1.jar -rw-r--r-- 3 hadoop supergroup 423175 2025-08-04 19:54 /spark/jars/okhttp-3.12.6.jar -rw-r--r-- 3 hadoop supergroup 88732 2025-08-04 19:54 /spark/jars/okio-1.15.0.jar -rw-r--r-- 3 hadoop supergroup 19827 2025-08-04 19:54 /spark/jars/opencsv-2.3.jar -rw-r--r-- 3 hadoop supergroup 813783 2025-08-04 19:54 /spark/jars/orc-core-1.5.10.jar -rw-r--r-- 3 hadoop supergroup 48122 2025-08-04 19:54 /spark/jars/orc-mapreduce-1.5.10.jar -rw-r--r-- 3 hadoop supergroup 27749 2025-08-04 19:54 /spark/jars/orc-shims-1.5.10.jar -rw-r--r-- 3 hadoop supergroup 65261 2025-08-04 19:54 /spark/jars/oro-2.0.8.jar -rw-r--r-- 3 hadoop supergroup 19479 2025-08-04 19:54 /spark/jars/osgi-resource-locator-1.0.3.jar -rw-r--r-- 3 hadoop supergroup 34654 2025-08-04 19:54 /spark/jars/paranamer-2.8.jar -rw-r--r-- 3 hadoop supergroup 1097799 2025-08-04 19:54 /spark/jars/parquet-column-1.10.1.jar -rw-r--r-- 3 hadoop supergroup 94995 2025-08-04 19:54 /spark/jars/parquet-common-1.10.1.jar -rw-r--r-- 3 hadoop supergroup 848750 2025-08-04 19:54 /spark/jars/parquet-encoding-1.10.1.jar -rw-r--r-- 3 hadoop supergroup 723203 2025-08-04 19:54 /spark/jars/parquet-format-2.4.0.jar -rw-r--r-- 3 hadoop supergroup 285732 2025-08-04 19:54 /spark/jars/parquet-hadoop-1.10.1.jar -rw-r--r-- 3 hadoop supergroup 1048171 2025-08-04 19:54 /spark/jars/parquet-jackson-1.10.1.jar -rw-r--r-- 3 hadoop supergroup 123052 2025-08-04 19:54 /spark/jars/py4j-0.10.9.jar -rw-r--r-- 3 hadoop supergroup 100431 2025-08-04 19:54 /spark/jars/pyrolite-4.30.jar -rw-r--r-- 3 hadoop supergroup 112235 2025-08-04 19:54 /spark/jars/scala-collection-compat_2.12-2.1.1.jar -rw-r--r-- 3 hadoop supergroup 10672015 2025-08-04 19:54 /spark/jars/scala-compiler-2.12.10.jar -rw-r--r-- 3 hadoop supergroup 5276900 2025-08-04 19:54 /spark/jars/scala-library-2.12.10.jar -rw-r--r-- 3 hadoop supergroup 222980 2025-08-04 19:54 /spark/jars/scala-parser-combinators_2.12-1.1.2.jar -rw-r--r-- 3 hadoop supergroup 3678534 2025-08-04 19:54 /spark/jars/scala-reflect-2.12.10.jar -rw-r--r-- 3 hadoop supergroup 556575 2025-08-04 19:54 /spark/jars/scala-xml_2.12-1.2.0.jar -rw-r--r-- 3 hadoop supergroup 3243337 2025-08-04 19:54 /spark/jars/shapeless_2.12-2.3.3.jar -rw-r--r-- 3 hadoop supergroup 4028 2025-08-04 19:54 /spark/jars/shims-0.7.45.jar -rw-r--r-- 3 hadoop supergroup 302558 2025-08-04 19:54 /spark/jars/snakeyaml-1.24.jar -rw-r--r-- 3 hadoop supergroup 1934320 2025-08-04 19:54 /spark/jars/snappy-java-1.1.7.5.jar -rw-r--r-- 3 hadoop supergroup 9387724 2025-08-04 19:54 /spark/jars/spark-catalyst_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 10167565 2025-08-04 19:54 /spark/jars/spark-core_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 430744 2025-08-04 19:54 /spark/jars/spark-graphx_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 369562 2025-08-04 19:54 /spark/jars/spark-kubernetes_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 59866 2025-08-04 19:54 /spark/jars/spark-kvstore_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 75930 2025-08-04 19:54 /spark/jars/spark-launcher_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 294928 2025-08-04 19:54 /spark/jars/spark-mesos_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 111914 2025-08-04 19:54 /spark/jars/spark-mllib-local_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 5885296 2025-08-04 19:54 /spark/jars/spark-mllib_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 2397699 2025-08-04 19:54 /spark/jars/spark-network-common_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 87027 2025-08-04 19:54 /spark/jars/spark-network-shuffle_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 52512 2025-08-04 19:54 /spark/jars/spark-repl_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 30347 2025-08-04 19:54 /spark/jars/spark-sketch_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 7118845 2025-08-04 19:54 /spark/jars/spark-sql_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 1137816 2025-08-04 19:54 /spark/jars/spark-streaming_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 9478 2025-08-04 19:54 /spark/jars/spark-tags_2.12-3.0.0-tests.jar -rw-r--r-- 3 hadoop supergroup 15149 2025-08-04 19:54 /spark/jars/spark-tags_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 51181 2025-08-04 19:54 /spark/jars/spark-unsafe_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 330670 2025-08-04 19:54 /spark/jars/spark-yarn_2.12-3.0.0.jar -rw-r--r-- 3 hadoop supergroup 79588 2025-08-04 19:54 /spark/jars/spire-macros_2.12-0.17.0-M1.jar -rw-r--r-- 3 hadoop supergroup 8261 2025-08-04 19:54 /spark/jars/spire-platform_2.12-0.17.0-M1.jar -rw-r--r-- 3 hadoop supergroup 34601 2025-08-04 19:54 /spark/jars/spire-util_2.12-0.17.0-M1.jar -rw-r--r-- 3 hadoop supergroup 7188024 2025-08-04 19:54 /spark/jars/spire_2.12-0.17.0-M1.jar -rw-r--r-- 3 hadoop supergroup 178149 2025-08-04 19:54 /spark/jars/stream-2.9.6.jar -rw-r--r-- 3 hadoop supergroup 233745 2025-08-04 19:54 /spark/jars/threeten-extra-1.5.0.jar -rw-r--r-- 3 hadoop supergroup 443231 2025-08-04 19:54 /spark/jars/univocity-parsers-2.8.3.jar -rw-r--r-- 3 hadoop supergroup 281356 2025-08-04 19:54 /spark/jars/xbean-asm7-shaded-4.15.jar -rw-r--r-- 3 hadoop supergroup 99555 2025-08-04 19:54 /spark/jars/xz-1.5.jar -rw-r--r-- 3 hadoop supergroup 35518 2025-08-04 19:54 /spark/jars/zjsonpatch-0.3.0.jar -rw-r--r-- 3 hadoop supergroup 4210625 2025-08-04 19:54 /spark/jars/zstd-jni-1.4.4-3.jar 有什么问题吗
最新发布
08-08
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值