morsunlight的博客

Process Function 用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)

flink中的状态:算子状态(Operatior)、键控状态(Keyed State)、状态后端(State Backends)状态的定义:1、有一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态2、可以任务状态是一个本地变量，可以被任务的业务逻辑访问3、Flink的状态管理主要是状态一致性、故障处理以及高效储存和访问。注意:1、在Flink中，状态始终与特定算子相关联2、运行时的Flink了解算子的状态，算子需要预先注册其状态算子状态(Operatior):算子状态的

1.Flink实时处理异常数据写入mysql数据库，当mysql连续8小时内无操作会导致flink job结束

背景:公司疫情填报系统。公司有A、B两类员工，每日需要填写疫情相关的信息。这批数据存在mysql之中，个人填报信息每天最多存1条记录，多次提交的数据会将最新记录保留。其中主要涉及三张表，一张员工信息表、一张在公司的疫情填报表，一张不在公司的疫情填报表。两张表中关联字段user_id。整体的处理思路:kafka-> flink-> redisflink中清洗思路:kafka数据:MySQL的操作日志。主要有INSERT和DELETE对三张表的操作类型；三张表中员工表作为中间表，进行两两关..

整体架构:mysql -> canal -> kafka - > flink ->终端额外开销:Redis

Flink解析Kafka中的Json数据公司的JSON数据格式:{ "data":[ { "user_id":"", "role":"teacher", "stage":"after", "fullname":"徐朝晖", "id_card":null, "sno":"", "gender":"male",...

Flink从kafka中消费数据(scala版本):pom文件:<!-- Flink 的scala依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.1</version></dependency>...

背景:某小型互联网公司每日的疫情填报Flink消费Kafka中的Json数据遇到的问题:Flink的jar包上传Flink服务器报错web页面报错:2021-01-1910:26:42,437INFOorg.apache.kafka.common.utils.AppInfoParser-Kafkaversion:0.11.0.22021-01-1910:26:42,438INFOorg.apache.kafka.common.ut...