p_x1984的专栏

面试中flink的状态机制和checkpoint关系

FlinkKeyed State 是一种分区状态，它为数据流中的每个键维护一个独立的状态副本。这意味着在有状态的流处理中，每个键都会关联一个状态信息，并且这个状态信息只与该键相关。Keyed State 使得 Flink 能够在每个键的上下文中独立地进行状态操作，如更新、查询等。Keyed State 的常见用例包括基于键的聚合，例如计算每个用户的总交易金额。Operator State 是一种全局状态，它属于 Flink 程序中的操作符实例，而不是与特定的键相关联。

这一期的面试题主要是介绍FlinkJoin 的应用场景为什么流式计算中提到 Join 小伙伴萌就怕呢？带大家看一遍本文思路Flink Join 解决方案：Flink Window JoinFlink Join 解决方案：Flink Interval JoinFlink Join 解决方案：Flink Regular Join上述 3 种解决方案各有优劣，有没有什么共性的问题可以优化？Flink Join 优化方案：同 key 共享 State。

为什么我的双流join时间到了却不触发，一直没有输出检查一下watermark的设置是否合理，数据时间是否远远大于watermark和窗口时间，导致窗口数据经常为空state数据保存多久，会内存爆炸吗state自带有ttl机制，可以设置ttl过期策略，触发Flink清理过期state数据。建议程序中的state数据结构用完后手动clear掉。我的双流join倾斜怎么办join倾斜三板斧: 过滤异常key、拆分表减少数据、打散key分布。当然可以的话我建议加内存！加内存！加内存！！

Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。