通过oozie任务调度工具执行一个spark任务：
spark程序：
oozie任务：
程序成功执行了，但在8080端口页面看不到，在hadoop 19888历史服务器页面可以看到
这是怎么回事？
将上面那个spark程序打成jar包使用spark-sumbit --class 主类 .jar 提交可以在8080页面显示任务
为什么执行spark任务会在hadoop历史服务器上看到，而在spark8080端口页面和work文件夹下面看不到？
本文探讨了一个关于使用Oozie任务调度工具执行Spark任务时遇到的问题：任务在8080端口页面不可见，而在19888端口的历史服务器页面可以查看。文章进一步解释了解决该问题的方法——通过将Spark程序打包为jar文件并使用spark-submit提交。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
