flink1.8的java项目升级到1.11后，on-yarn报错

启动时报错 java.lang.NoClassDefFoundError: org/apache/flink/api/common/eventtime/WatermarkStrategy

 

调整了WatermarkStrategy：

      reqDataStream.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(3)));

报错依旧，于是把pom.xml中flink相关依赖的<scope>provide</scope>全部屏蔽。有了新的报错：

目前修改自己建立的flink_kafka_conector工程中的flink版本，并把flink的jar引用都加上了<scope>provided</scope>之后，编译报错消失。

但是执行脚本之后，出现了新的报错。

最后发现是，flink-shaded-hadoop-2-uber的依赖没有添加，或者是添加了版本不对造成yarn环境上报错。

1、刚开始提交的时候从日志中看不出什么问题，因为之前对flink on yarn的运行原理不太了解，所以都不知道如何下手。后经过咨询huangkai了解了flink on yarn的原理后。
2、知道了flink任务在standalone模式和on yarn模式下，程序依赖是不一样的。on yarn模式需要把任务运行所依赖的flink核心及相关模块的类与任务程序打在一个jar包中。
3、解决方法把程序中pom.xml文件依赖flink相关包的scope为provide都去掉，后重新打包。打包后提交测试报hadoop classpath is miss的错误。
4、hadoop classpath is miss错误解决，在pom.xml添加flink-hadoop-2的依赖，不要用uber后缀的包,uber包会与hadoop-common的包冲突，然后把slf4j的冲突包去掉，重新打包测试，还是失败。不过这次的失败有对应的业务日志了，是连接mysql有问题。
5、连接mysql问题是因为程序用的mysql驱动包的版本连不上mysql8.0，通过升级mysql驱动版本后解决。
6、再次打包提交测试，这次成功。至止问题解决。