大数据之 Spark 提交作业的方法

Apache Spark 提交作业可以通过命令行或通过编程方式进行。以下分别是两种方式的基本步骤：

1. 命令行提交（Spark Submit）

在集群模式下，你通常会在安装了Spark和Hadoop环境的服务器上运行spark-submit命令来提交作业。

./bin/spark-submit \
--class <你的主类名> \
--master <集群模式> \
--deploy-mode <部署模式（client 或 cluster）> \
--executor-memory <executor内存大小> \
--num-executors <executor数量> \
--conf <自定义配置项> \
<你的应用jar包路径> \
[应用参数