
Flink
文章平均质量分 73
loca.
这个作者很懒,什么都没留下…
展开
-
Flink的容错重启和恢复
一、重启机制Flink的重启机制在代码中的设置:1. NoRestart表示发生错误不会重启env.setRestartStrategy(RestartStrategies.noRestart());2. EnableCheckpointRestart默认重启策略,固定频率env.enableCheckpointing(2000);3. FailureRateRestart设置失败次数,启动间隔,当重启次数达到设置的失败次数,结束重启终止作业。// 失败次数5次,时间段为5分钟内,重原创 2021-12-31 16:21:30 · 3453 阅读 · 0 评论 -
Flink自定义实现ElasticSearch Table Source
Flink版本:1.12.1ES Maven版本:elasticsearch-rest-client:6.3.1FLINK TableSource官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/sourceSinks.htmlFlink自定义Table Source需要实现3个类,DynamicTableSourceFactory -> DynamicTableSource ->.原创 2021-09-10 15:53:39 · 1608 阅读 · 4 评论 -
Flink自定义Table Source
基于官方文档 User-defined Sources & Sinks 实现,该实现完成了一个自定义Socket Table Source来将Socket传入的数据转为Table。Flink版本:1.12.1maven依赖在最后,出现问题首先排查依赖版本是否正确。一、TableSource实现Dynamic Table Factory在使用Table source时,首先需要建表:CREATE TABLE UserScores (name STRING, score INT)WI.原创 2021-09-02 17:51:10 · 1431 阅读 · 0 评论 -
Flink连接WSL中的kafka遇到的问题
按照官方文档Apache Kafka 连接器建立一个类public class FlinkDataStream { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> s原创 2021-08-18 17:43:27 · 784 阅读 · 0 评论