Spark中的官方求PI案例

是个小布丁

于 2021-04-22 21:17:15 发布

阅读量1.5k

点赞数 1

分类专栏： spark 文章标签： Spark Standalone模式 SparkPi案例 executor配置部署教程

本文链接：https://blog.youkuaiyun.com/Queen0809/article/details/116032721

版权

spark 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍如何在Spark standalone模式下部署并执行Spark Pi案例，涉及启动集群、设置executor内存和CPU核心，以及详细命令参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官方求PI案例

1.进入/opt/module/spark-standalone

2.开启spark集群，sbin/start-all.sh

3.写案例

bin/spark-submit \
--class	org.apache.spark.examples.SparkPi \		【spark程序中要执行程序的主类】
--master	spark://hadoop102:7077 \	【spark运行模式：1.Local模式（local[*]），2.Standalone模式:master所在节点及端口号（spark://hadoop102:7077），3.Yarn模式（Yarn）】
--executor-memory 2G \	【每个executor的可用内存数】
--total-executor-cores 2 \	【所有executor使用的cpu核数】
--deploy-mode client 【默认的，不写也是这个客户端模式 集群模式--deploy-mode cluster】
./examples/jars/spark-examples_2.12-3.0.0.jar \	【要运行的程序的jar包路径】
10	【该jar包中的需要填写的第一个参数，此时参数是需要执行多少次】