在Spark集群中提交任务

young log

于 2019-10-11 15:36:23 发布

阅读量344

点赞数

CC 4.0 BY-SA版权

分类专栏： # Spark 大数据文章标签： Spark CDH

本文链接：https://blog.youkuaiyun.com/a20140724/article/details/102501950

大数据同时被 2 个专栏收录

4 篇文章

订阅专栏

Spark

2 篇文章

订阅专栏

本文详细介绍如何在Spark 2.3.4版本中使用standalone模式运行集群作业，包括配置master节点和执行样例程序SparkPi的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spak2.3.4版本已经安装完成，介绍在集群中运行作业的方式。

首先是运行Spark自带的样例程序（进入到spark安装目录）：

bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g examples/jars/spark-examples_2.11-2.3.4.jar

下图是运行情况

其中--master表示运行模式，上图中采用的是standalone模式，//master指的是在conf目录下spark-env.xml中配置的export SPARK_MASTER_IP的地址。（我在我的机器中配置的是master，因为已经在/etc/hosts文件中配置了hosts列表），也可以使用192.168.101.71，就是master节点的IP。

另外还有local模式、yarn-cluster模式、yarn-client模式。