今天有人问到了这个问题,在此做个记录,在WebUI中是否显示你的Application,取决于你提交的方式,以下的运行方式就不会显示在UI中,前2种是本地命令执行,第3种是在YARN中执行:
./run-example org.apache.spark.examples.SparkPi
./spark-submit --class org.apache.spark.examples.SparkPi /path/sparkex.jar
./spark-submit --class org.apache.spark.examples.SparkPi --master yarn /path/sparkex.jar
很多人按照网上的一般性文档,都是直接使用run-example
执行的,所以不会显示在列表中,那么,如何执行会显示在UI中呢?如以下方式:
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop-master:7077 /path/sparkex.jar
所以,重点就在参数--master
上面。