上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。
我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。
比如我写完一个sql脚本,编译成功
image
接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)
image
如上图,job执行失败:
界面底部RUN日志中打出具体的错误信息。
详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。
image
可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优。
我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。
修改好sql脚本,再执行,执行成功如下图:
image
成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:
image
点击下面的进度条可以回放整个job执行的过程
image
可以查看耗时最长的前10个节点
image
可以查看每个子任务执行过程所有fuxi instance各种I/O信息:
image
同样的可以看到分析信息,看是否还有可优化的点。
怎么样,这样看日志是不是感觉更容易理解了呢!
原文链接