Flink 成长之路
分享
扫一扫
文章平均质量分 93
Flink 13.x / Scala API 使用技巧与千万级用户级别场景实战经验总结。主要分3个部分：
- Flink API 详解
- Flink 真实开发环境异常分析与解决
- Flink 实战案例
现在原有基础上逐步增加 Flink SQL 相关使用
- Flink SQL API 详解
超级会员免费看
BIT_666
天道酬勤，厚积薄发
展开
-
Flink 成长之路专栏 - 导读目录
Flink 成长之路专栏简介。原创 2022-10-14 11:16:41 · 1127 阅读 · 1 评论
-
Flink / Scala 实战 - 22.readFile with watchType 实战
Flink readFile PROCESS_CONTINUOUSLY 模式测试。原创 2023-03-24 08:00:00 · 274 阅读 · 2 评论 -
Flink / Scala 实战 - 21.配置 Checkpoint 与自定义 CheckpointedFunction 集群测试
Flink Checkpoint 配置与 checkpointedFunction 自定义实现 + 集群实战。原创 2023-03-16 08:00:00 · 355 阅读 · 7 评论 -
Flink / Scala 实战 - 20.keyBy 后 window 数据倾斜实战
keyBy 数据倾斜分析与尝试。原创 2023-03-15 08:00:00 · 267 阅读 · 0 评论 -
Flink / Scala - 21.KeyedStream KeyBy 源码分析
Flink KeyedStream KeyBy 原理与实践。原创 2023-03-14 08:00:00 · 205 阅读 · 3 评论 -
Flink / Scala - 20.Scala API Extensions 扩展
Scala API Extensions 之 Flink DataStream 拓展 API原创 2023-03-08 15:04:40 · 606 阅读 · 4 评论 -
Flink / Scala 实战 - 19.ProcessFunction 删除 key 的上一个定时器 TimeTimer
Flink ProcessFunction 删除 key 的上一个 Timer 定时器。原创 2023-03-07 11:04:34 · 1130 阅读 · 7 评论 -
Flink 异常 - 13.getSideOutput 侧输出流无数据
Flink 侧输出流无输出异常排查与解决。原创 2023-03-02 14:40:58 · 827 阅读 · 3 评论 -
Flink / Scala - 19.Side Outputs 侧输出流简介与使用
Flink Side Outputs 实现侧边流输出与侧边流的窗口示例。原创 2023-01-18 15:55:54 · 581 阅读 · 2 评论 -
Flink / SQL - 7.一文搞懂常规 Sql TopN 与 Sql Window TopN
Flink SQL 常规 TopN 与 Window Top 详解与示例。原创 2022-11-13 18:30:55 · 1024 阅读 · 10 评论 -
Flink 异常 - 12.java.lang.IncompatibleClassChangeError: Implementing class X StreamTableEnvironment
Flink -java.lang.IncompatibleClassChangeError: Implementing class 异常排查与解决。原创 2022-11-13 16:09:25 · 1205 阅读 · 1 评论 -
Flink / SQL - 6.Tumble、Slide、Session、Over Window 详解
Flink SQL Table Window 讲解与示例。原创 2022-11-03 16:09:50 · 1186 阅读 · 7 评论 -
Flink / SQL - 5.Table API 与 SQL 配置 ProcessTime 与 EventTime
Flink SQL 通过 DataStream To Table 或 DDL 指定 EventTime 与 ProcessTime 并使用 TimeWindow 聚合计算。原创 2022-11-01 12:59:53 · 1104 阅读 · 11 评论 -
Flink / SQL - 4.DataGen 与 Types 配置
Flink SQL 使用 DataGen 生成数据详解。原创 2022-10-31 11:38:44 · 1113 阅读 · 13 评论 -
Flink SQL - 3.Table 与 DataStream API 集成
Flink SQL DataStream API 集成语法展示。原创 2022-10-26 12:55:42 · 964 阅读 · 0 评论 -
Flink SQL - 2.Table API & SQL 概述与常规 API
Flink SQL Table API 与 SQL 概述以及常规 API 介绍。原创 2022-10-25 15:15:00 · 857 阅读 · 0 评论 -
Flink SQL - 1.Table API && Sql 入门 Demo
Flink Table API 与 Sql 简易入门 Demo 使用与分析。原创 2022-10-24 16:00:52 · 1082 阅读 · 2 评论 -
Flink 异常 - 11.单台 Container 内存异常增加导致 Container 被 kill 排查
Flink running beyond physical memory limits Container 被 kill 问题分析与排查。原创 2022-10-24 11:23:23 · 1967 阅读 · 0 评论 -
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。原创 2022-10-22 17:31:25 · 603 阅读 · 0 评论 -
Flink / Scala - 18.KeyedState 简介与使用
Flink KeyedState 简介与初始化方法。原创 2022-10-16 11:12:06 · 547 阅读 · 2 评论 -
Flink / Scala 实战 - 17.双流合并实战之银行实时对账系统
基于 Connect + CoProcessFunction 实现的双流合并示例-银行实时对账系统。原创 2022-10-18 19:30:50 · 1472 阅读 · 0 评论 -
Flink / Scala 实战 - 16.Stream 基于时间合流 - Window Join && CoGroup && IntervalJoin
Flink Stream 基于时间合流，主要处理为 WindowJoin、WindowCoGroup 与 IntervalJoin。原创 2022-10-12 10:05:55 · 438 阅读 · 3 评论 -
Flink / Scala 实战 - 15.Stream 基本合流操作 - Union && Connect
Flink 常规数据流合并，主要为 union、connect 与 BroadcastConnect。原创 2022-10-08 10:12:04 · 567 阅读 · 2 评论 -
Flink / Scala 实战 - 14.AllWindowFunction 与 KeyedProcessFunction 处理 TopK 问题
Flink / Scala 使用 keyedProcessFunction + ListState 处理 TopK。原创 2022-09-28 10:21:00 · 1158 阅读 · 13 评论 -
Flink / Scala 实战 - 13.TimeWindow 处理迟到数据详解
Flink 通过 forBoundedOutOfOrderness + Allowed Lateness + SideOutputLateData 处理迟到数据。原创 2022-09-26 10:09:39 · 1518 阅读 · 19 评论 -
Flink / Scala 实战 - 12.Aggregate 详解与 UV、PV 统计实战
Flink / Scala 使用 Aggregate 函数统计 PV、UV。原创 2022-09-23 08:19:46 · 1072 阅读 · 16 评论 -
Flink / Scala 实践 - 11.大规模状态 ValueState 内存实践与优化
Flink / Scala 大规模状态 ValueState 内存实践与优化。原创 2022-09-20 16:01:11 · 1540 阅读 · 12 评论 -
Flink 实战 - 10.ProcessFunction 使用缓存详解
Flink 使用 LRUCache 与 GuavaCache 详解。原创 2022-09-16 13:53:18 · 1464 阅读 · 21 评论 -
Flink 实战 - 9.Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析
Flink / Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析。原创 2022-09-13 15:18:37 · 2369 阅读 · 15 评论 -
Flink 实战 - 8.Timer 与 TimerService 源码分析与详解
Flink Timer 与 TimerService 源码分析与详解。原创 2022-09-09 09:38:30 · 1367 阅读 · 17 评论 -
Flink 实战 - 7.大规模状态 ValueState IO 实践与优化
工业场景下 Flink 经常使用 ValueState + RocksDBStateBackend 的组合，针对不断增大的 ValueState 或者数量过大的 ValueState，RocksDBStateBackend 使用了 TaskManager 所在机器的本地目录，从而突破 JVM Heap 的限制，满足了大量 ValueState 存储的场景，下面介绍大状态下 ValueState 的实践与优化。.........原创 2022-08-30 18:02:16 · 1203 阅读 · 24 评论 -
Flink / Scala 实战 - 6.使用 Jedis、JedisPool 作为 Source 读取数据
现在有一批数据写入多台 Redis 相同 key 的队列中，需要消费 Redis 队列作为 Flink Source，为了提高可用性，下面基于 JedisPool 进行队列的消费。原创 2022-08-18 16:12:10 · 1300 阅读 · 4 评论 -
Flink / Scala 实战 - 5.ProcessFunction 之间共用缓存测试
Flink 开发中有如下场景，数据需要经过两次 ProcessFunction 处理，第一步 ProcessV1的一些信息重复不想通过每条数据传输至 ProcessV2，这时便捷的方法时对 ProcessV1 需要存储的元素进行去重缓存，保证全局共用一份缓存，可以有效减少储存空间，下面分别尝试三种缓存方式：A.ValueState 缓存B.HashMapCache 缓存C.RedisCahce 缓存......原创 2022-08-17 19:09:23 · 694 阅读 · 0 评论 -
Flink / Scala 实战- 4.BroadCast 广播流数据先到再处理 Source 数据
Flink 支持增加 DataStream KeyBy 之后 conncet BroadCastStream 形成 BroadConnectedStream，广播流内数据一般为不间断更新的上下文信息，这里介绍如果等待广播流初始化完毕再处理 Source 数据原创 2022-08-11 17:12:59 · 1596 阅读 · 0 评论 -
Flink 实战 - 3.读取 Parquet 文件 By Scala / Java
parquet 文件常见与 Flink、Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面介绍 Flink 场景下如何读取 Parquet。原创 2022-07-21 10:05:34 · 1368 阅读 · 3 评论 -
Flink / Scala 实战 - 2.使用 RedisSink 存储数据
现在有一批流数据想要存储到 Redis 中，离线可以使用 Spark +foreach 搞定，由于是多流 join 且带状态，所以 SparkStreaming + foreach 也无法实现，而 Flink 不支持 foreach 操作触发 execute，这里采用 RedisSink 代替实现foreach 逻辑。...原创 2022-08-04 11:37:51 · 716 阅读 · 0 评论 -
Flink / Scala 实战 - 1.使用 CountWindow 实现按条数触发窗口
CountWindow 数量窗口分为滑动窗口与滚动窗口，类似于之前 TimeWindow 的滚动时间与滑动时间，这里滚动窗口不存在元素重复而滑动窗口存在元素重复的情况，下面 demo 场景为非重复场景，所以将采用滚动窗口。......原创 2022-08-02 22:00:51 · 773 阅读 · 0 评论 -
Flink 异常 - 10.checkpoint Failure reason: Not all required tasks are currently running
Flink 程序增加 readFile 生成文件流后，最初运行期间 CheckPoint 存储没有问题，待文件流 Finished 后 CheckPoint 存储报错: checkpoint Failure reason: Not all required tasks are currently running，下面分析并解决下。原创 2022-07-27 09:19:02 · 2119 阅读 · 2 评论 -
Flink 异常 - 9.The heartbeat of TaskManager with id container timed out 分析与 Heartbeat 简介
Flink Heartbeat 原理与异常解决。原创 2022-09-06 10:30:35 · 4728 阅读 · 43 评论 -
Flink / Scala 异常 - 8.java.lang.NumberFormatException: Not a version: 9
Flink V1.13.1 +Scala 2.11.8 提交任务后，报错Caused by: org.apache.flink.shaded.guava18.com.google.common.util.concurrent.UncheckedExecutionException: java.lang.NumberFormatException: Not a version: 9 ，遂排查与解决。原创 2022-08-11 09:49:05 · 631 阅读 · 0 评论