Foools的博客

系列文章目录文章目录系列文章目录Flink 容错机制检查点checkpointIncremental checkpointFlink 容错机制Flink 检查点的核心作用是确保状态正确，即使遇到程序中断，也要正确。流计算Fault Tolerance的一个很大的挑战是低延迟，很多Blink任务都是7 x 24小时不间断，端到端的秒级延迟，要想在遇上网络闪断，机器坏掉等非预期的问题时候快速恢复正常，并且不影响计算结果正确性是一件极其困难的事情。在Blink中以checkpointing的机制进行容

系列文章目录文章目录系列文章目录持续查询静态查询和动态查询的关系持续查询的实现增量计算：APPEND ONLY场景UPDATE 场景无PK的Append Only 场景有PK的Update 场景Blink store双流join中遇到的append only的问题Blink Sink持续查询静态查询和动态查询的关系传统数据库表我们这里叫Static table，是指在查询的那一刻数据库表的内容不再变化了，查询进行一次计算完成之后表的变化也与本次查询无关了，我们将在Static Table 上面

系列文章目录文章目录系列文章目录window机制Group by windowTumbling window 滑动窗口Hop window 滑动窗口Session window 会话窗口OVER WINDOWROWS OVER WindowRange over windowwindow机制Blink-1.x版本的window内容有一些比较基本的group by概念我觉得不需要陈述了，主要需要介绍的是两个类型：group by window和over window。Group by windo

系列文章目录文章目录系列文章目录StateState存储实现State的分类状态一致性端到端的一致性总结State首先，blink是有状态计算的，State是流计算特有的，流计算在 大多数场景 下是增量计算，数据逐条处理（大多数场景)，每次计算是在上一次计算结果之上进行处理的，这样的机制势必要将上一次的计算结果进行存储（生产模式要持久化），另外由于 机器，网络，脏数据等原因导致的程序错误，在重启job时候需要从成功的检查点(checkpoint，后面篇章会专门介绍)进行state的恢复。增量计算

系列文章目录文章目录系列文章目录流表对偶性DISTINCTDISTINCT in SELECT Clause两种实现底层原理DISTINCT in COUNT AGG、语法底层原理流表对偶性这部分其实很简单……不明白为啥文档写的很复杂。简单来说，mysql需要进行主备复制，而binlog就是mysql实现主备复制的核心手段。binlog记录了数据库上的所有增、删、更新等操作。binlog中携带时间戳，我们将所有表的操作都按时间进行记录下来形成binlog，而对binlog的event进行回放的

系列文章目录文章目录系列文章目录一、 时间二、 watermark概念一个例子多流watermarks处理总结一、 时间一共有三种时间：event time，ingestion time，processing timeEvent time：事件发生的时间Ingestion time：数据进入flink的时间Processing time：执行操作算子的本地系统时间Watermark就是基于Event Time产生的，Blink系统正是利用Event Time和Watermark机制处理

系列文章目录文章目录系列文章目录前言 谈谈blink和flinkBlink原理漫谈零、 Flink运行时的组件JobManagerTaskManagerResourceManagerDispatcher任务提交流程前言 谈谈blink和flink在实习时候接触到了flink，这玩意实现了大促期间的实时大数据更新，这对我们这种只写过python，c++啥玩意的来说闻所未闻，所以了解了一下flink的原理，并且尝试使用了公司的blink，在学习时间之余，整理了所有的学习笔记，目的也是分享学习。A