day_ue的博客

Flink和spark提交任务流程对比

方便自己知识查找

MemoryStateBackend构造反方MemoryStateBackend(int maxStateSize, boolean asynchronousSnapshots)存储方式State: TaskManager内存checkpoint: JobManager内存容量限制单个state maxStateSize默认5MmaxStateSize <= akka.framesize默认10M总大小不超过JobManager的内存推荐使用场景本地

讲解了Flink的优化方向

对flink里流与流的关联和流与维表的关联的总结

1 流计算中流的状态1.1 数据状态首先是流数据状态。在流计算过程中，我们需要处理事件窗口、时间乱序、多流关联等问题。解决这些问题，通常需要对部分流数据进行临时缓存，并在计算完成时再将这些临时缓存清理掉。因此，我们将这些临时保存的部分流数据称为“流数据状态”。1.2 信息状态在流计算过程中，我们会得到一些有用的业务信息，比如时间维度的聚合值、关联图谱的一度关联节点数、CEP 的有限状态机等，这些信息会在后续被继续使用，从而需要将它们保存下来。同时在之后的流计算过程中，这些信息还会被不断地查询和更新。