flink 1.13 Hadoop3.22踩坑

看情况持续更新吧

坑1

./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar --input hdfs://hadoop3/flink_test/data/ --output hdfs://hadoop3/flink_test/result/ 提交任务到yarn的session集群上

you can disable this check with the configuration ‘classloader.check-leaked-classloader’.

解决方法

flink conf下配置新增
classloader.check-leaked-classloader: false

坑2

./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar --input hdfs://hadoop3/flink_test/data/ --output hdfs://hadoop3/flink_test/result/ 提交任务到yarn的session集群上

org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted.

解决方法

遇到问题，看日志！！！
遇到问题，看日志！！！
遇到问题，看日志！！！
查看yarn上日志，发现hdfs://hadoop3/flink_test/result/ 已经存在
删除即可

坑3

./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar --input hdfs://hadoop3/flink_test/data/ --output hdfs://hadoop3/flink_test/result/ 提交任务到yarn的session集群上
结果正常，但是查看日志
Cannot instantiate file system for URI: hdfs://hadoop:8020/flink/completed-jobs
java.net.UnknownHostException: hadoop

解决办法

1 是不是我的环境变量有问题啊，我nameservice明明是hadoop3啊
env|grep HADOOP_CONF
没问题啊？？
2 是不是flink没读取配置啊？？
flink conf下配置新增
env.hadoop.conf.dir: /app/hadoop/etc/hadoop
还是不行啊
3 看下flink的配置吧
jobmanager.archive.fs.dir: hdfs://hadoop/flink/completed-jobs/
？？？凶手找到了？？？联想到我之前觉得hadoop nameservice 不好，重新格式化了，莫非？？
好吧，改下配置，收工

flink api代码坑

时间戳一定要13位，如果10位可以将低位补0
否则窗口计算会少3位，例如 10位变7位然后判断时间戳，造成数据错误