今天我跑定时任务的时候,日志报错:Error: java.io.IOException: java.lang.reflect.InvocationTargetException;往下继续看log,发现是car3g_prpcitemkind(文件名)显示prpcitemkind分区数据不在了,这种通常发生在抽数的时候,抽数脚本最一开始有没有进行-rm一些hdfs临时文件;
但是我的任务没有抽数,但是任务中其的确有用到表car3g_prpcitemkind,找了脚本的最上面也没有-rm。。。。
然后根据日志打印的时间去找附近时段开启的定时任务,md找到最后发现是另一个脚本有-rm 给我干掉了
解决也好搞 因为必须有交集的两个定时任务 因为每个脚本产生的临时文件名是固定的,hdfs文件放到数组中精准删除就可以了,这样相互不影响啦;
本文记录了一次因定时任务中HDFS临时文件误删引发的问题排查过程,揭示了不同定时任务间文件名固定导致的潜在冲突,并提出了通过将文件放入数组中进行精确删除的解决方案,以避免相互影响。
2037

被折叠的 条评论
为什么被折叠?



