任务类型:kafka2hive
现象:checkpoint正常执行保存hive文件,但是没有提交Hive分区,也没有提交success文件
排查:根据现象查询一些网上资料,有价值的分析源码链接:但是我的现象和下面的问题不是,但是涉及到的生成watermark原理一致.https://www.cnblogs.com/Springmoon-venn/p/16423465.htmlhttps://www.cnblogs.com/Springmoon-venn/p/16423465.html
结果:因为我上游算子设置了多个并行度,但是只有一个并行度是有数据的,数据倾斜导致水位线一直不更新,这个数据倾斜和业务逻辑有很大关系,目前数据量不是很大,所以把算子并行度设置1。