【spark on k8s】部署问题

最新推荐文章于 2025-10-12 16:13:31 发布

原创最新推荐文章于 2025-10-12 16:13:31 发布 · 836 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #k8s

spark 专栏收录该内容

11 篇文章

订阅专栏

在尝试使用官方示例部署Spark任务到Kubernetes集群时遇到错误。问题包括文件路径和jar名称不正确。解决方案是修正jar的路径到/opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar。

部署spark任务在Kubernetes上报错

使用官方案例部署失败

`21/07/14 02:19:14 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/07/14 02:19:15 WARN DependencyUtils: Local jar /opt/spark/examples/jars/spark-examples_2.12-3.1.1.jar does not exist, skipping.

**Error: Failed to load class org.apache.spark.examples.SparkPi.**

21/07/14 02:19:15 INFO ShutdownHookManager: Shutdown hook called
21/07/14 02:19:15 INFO ShutdownHookManager: Deleting directory /tmp/spark-531eef47-e7c2-4632-9232-e45f68ac0396
`

在这里插入图片描述