Hadoop集群找错bug流程与yarn 命令

将一个项目在服务器上启动提交给hadoop集群的任务上出错了，改如何调试?

总结下：如何去找错的思路。整体围绕： 数据、模型、代码三个方面。此处提下查看代码出错问题。

在服务器启动脚本，如sh train.sh后，通常会在log目录下，有运行脚本对应的log信息文件，如train_20200827.log，用vim 打开log，信息中大概60行上下会有对应application的监控hadoop的监控面板，类似

The url to track the job: http://yz70210.hadoop.data.sina.com.cn:9008/proxy/application_1594195336447_10990716/  。将http的链接复制到浏览器中，便可以看到对应正在运行的application的信息，查看任务失败的节点信息 。如图

会弹出失败的节点信息如：

进一步点击里面，去查看logs里的详细的报错信息

往下拉，可以看到具体是代码哪个地方出错了