Flink写Elasticsearch导致Checkpoint频繁失败的解决方案
最近做的一个需求,在一个Flink程序中,根据数据里面的ip进行分流,每个流对应一个ES的索引,一共有14个索引,开启checkpoint。
运行报错:
有些sink始终会导致ck失败,数据量也就100条。
出现这个问题后,把ck去掉,程序正常写入,不报错了。
==
没有ck肯定不行,所以将ck加回来,后来看了下ElasticsearchSinkBase类的代码,实现了CheckpointedFunction接口,重写了snapshotState方法,里面会根据flushOnCheckpoint成员变量判
原创
2021-02-04 11:10:27 ·
1052 阅读 ·
2 评论