lzzyok的专栏

实现KafkaDeserializationSchema解决Flink中对kafka消息反序列化问题

Flink cdc本地编译常见问题归集

一、为什么需要容错二、state三、State Backend类型四、重启策略当task发生故障时，flink需要重启出错的task以及其它受影响的task，以使用作业恢复到正常执行状态。重启策略可以2种配置1）配置文件flink-conf.yamlrestart-strategy.fixed-delay.attempts:3restart-strategy.fixed-delay.delay:52)基于代码配置 env.setRestartStrategy(R...

1、时间的重要性，弄明白为什么需要有序？当iot设备上传的轨迹数据是乱序时，那业务在处理时就会有误，如计算超速就不准确。在直播带货中，每小时计算销售金额，并给主播按时结算报酬，如果时间乱了，把19:00的算到20:00了，那就是问题了。对于流计算中的乱序，应该怎么排序呢？在flink中，流计算的数据是事件，每个事件都会有自己的产生时间（如：每个gps点都会有自己的时间），所以流计算中的排序是按时间维度，Flink也是按时间排序来实现的。2、Flink时间类型1）事件产生的时间（.

1、下载源码(本地安装有git环境)git clone https://gitee.com/apache/flink.gitgit checkout release-1.10.0#注意1.10.0是tag版本2、mvn构建时会有异常：Could not find artifact io.confluent:kafka-schema-registry-client:pom:3.3.1 in aliyunmaven (https://maven.aliyun.com/repository/p

通过3步，在本地搭建Flink环境前提：本地安装有JDK8+java -version1、下载Flink文件，并解压（linux/mac系统）$ tar -xzf flink-1.11.0-bin-scala_2.12.tgz$ cd flink-1.11.0-bin-scala_2.122、启动集群（启动成功后，可以访问http://localhost:8081查看任务）$ ./bin/start-cluster.shStarting cluster.Starting