HUE
关注
分享
扫一扫
陆师傅说
这个作者很懒，什么都没留下…
展开
-
HUE配置Notebook提交spark
为执行Spark Job，Hue提供了执行服务器Livy，加强了Hue notebook对spark的支持。它类似于Oozie hadoop工作流服务器，对外提供了Rest Api，客户端将spark jar以及配置参数传递给livy，livy依据配置文件以及参数执行jar。 hue配置文件*.ini中配置如下: 1.测试scala hue登录原创 2017-12-29 22:33:58 · 4068 阅读 · 0 评论 -
HUE通过oozie工作流执行shell脚本
首先上传对应的jar包和storm.sh脚本到hdfs，脚本内容如下：脚本主要内容是：从hdfs下载jar包，然后利用storm jar ..命令提交storm任务，详细内容查看附件最后，点击保存，提交命令。stormui和yarn上都可以看到已经提交的任务。注意：提交任务user需要对操作的路径有权限。原创 2018-01-17 16:20:38 · 7970 阅读 · 1 评论