出现的具体错误是:
Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.
我最开始运行的是client模式出现了Spark的任务无法提交的情况.
之后我更换了运行模式为cluster模式
错误信息:org.apache.hadoop.security.AccessControlException: User gd cannot submit application to queue root.default
当看到这个错误信息的时候,我恍然大悟了,原来是我的提交队列没有给定.因此默认提交的就是root.default的队列,但是这个队列我们公司是不能用的.
解决方法:在提交脚本中添加--queue $SPARK_QUEUE.
再次执行的时候就可以正常运行了.