关于 Spark WebUI 不显示 Completed Applications 的明细

本文介绍了在Apache Spark中如何通过不同的提交方式使应用程序显示在Web UI上。关键在于使用`spark-submit`命令并指定`--master`参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今天有人问到了这个问题,在此做个记录,在WebUI中是否显示你的Application,取决于你提交的方式,以下的运行方式就不会显示在UI中,前2种是本地命令执行,第3种是在YARN中执行:

  • ./run-example org.apache.spark.examples.SparkPi
  • ./spark-submit --class org.apache.spark.examples.SparkPi /path/sparkex.jar
  • ./spark-submit --class org.apache.spark.examples.SparkPi --master yarn /path/sparkex.jar

很多人按照网上的一般性文档,都是直接使用run-example执行的,所以不会显示在列表中,那么,如何执行会显示在UI中呢?如以下方式:

  • ./spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop-master:7077 /path/sparkex.jar

所以,重点就在参数--master上面。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值