在尝试使用spark-submit命令运行SparkPi示例时遇到错误，提示找不到JAR中的主类。原因是最新版Spark的示例有所更改。按照官方文档，需指定完整路径，包括--driver-memory和--executor-memory等参数，以及正确的jar文件名。正确命令应包含--classorg.apache.spark.examples.SparkPi等详细信息。
运行spark-submit命令示例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
1000出现报错：Failed to get main class in JAR with error null . Please specify one with --class.主要是时说找不到程序入口
原因：最新的spark更改了示例，现在官方文档
./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
--queue thequeue \
examples/jars/spark-examples*.jar \
10
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
