u012667450的博客

Spark任务提交时报错bad substitution问题描述在集群中使用spark-submit提交spark任务时，报错Exception message: /hadoop/yarn/local/usercache/qxadmin/appcache/application_1631068541144_0002/container_e10_1631068541144_0002_01_000001/launch_container.sh:行22: PWD:PWD:PWD:PWD/spark_con

Spark自带examples案例1.SparkPi在SPARK_HOME目录下运行如下命令：bin/run-example org.apache.spark.examples.SparkPi结果如下图所示：到此，案例成功运行，运行结果为：Pi is roughly 3.14021570107850552.others其他案例也是类似，注意两个问题：必须是run-example命令。确定类名。类名可以在SPARK_HOME目录下的examples/src/main/scala/