
Flink
javafanwk
专注微服务架构,熟悉react、大数据、云计算,喜欢看java编程思想,设计模式,算法等书,希望通过我的努力减少代码量,提高java的标准化,提高程序的稳定度,认真搞技术,一直在路上,希望大家共同前行,进步。。。
展开
-
Flink 检查点 保存点
支持带有事件时间的窗口 (Window) 操作支持有状态计算的 Exactly-once语义 (依靠以下两点保证)1.flink的checkpoint特性,Flink 检查点算法(Chandy-Lamport 算法的变种) 2.是两阶段提交检查点算法的种类一种简单的想法(同步的思想)暂停应用,保存状态到检查点,再重新恢复应用(SparkStreaming)Flink 的改进实现(异步的思想)基于Chandy-Lamport 算法的分布式快照算法 将检查点的保存和数据处理分离开,不原创 2022-01-21 17:48:54 · 1640 阅读 · 0 评论 -
Flink 8 个Process Function
所有的Process Function 都继承自RichFunction 接口,所以都有open()、close() 和getRuntimeContext() 等方法原创 2022-01-21 17:11:20 · 847 阅读 · 0 评论 -
Flink - 窗口
窗口(Window)就是将无限流切割为有限流的一种方式,它会将流数据分发到有限大小的桶(bucket)中进行分析时间窗口(Time Window)滚动时间窗口将数据依据固定的窗口长度对数据进行切分时间对齐,窗口长度固定,没有重叠滑动时间窗口 会话窗口(只有Flink 支持)计数窗口(Count Window)滚动计数窗口 滑动计数窗口窗口分配器——window() 方法处理时间窗口window(TumblingProcessingTimeWindows.of(T原创 2022-01-21 16:57:01 · 780 阅读 · 0 评论 -
Flink 简介
Flink 中的特点时间驱动(Event-driven)流批一体基于流的世界观:在Flink 的世界观中,一切都是由流组成的,离线数据是有界的流;实时数据是一个没有界限的流:这就是所谓的有界流和无界流Spark Streaming和Flink的区别数据模型Spark 采用RDD 模型,Spark Streaming 的DStream 实际上也就是一组组小批数据RDD 的集合 Flink 基本数据模型是数据流,以及事件(Event)序列(Integer、String、Long原创 2022-01-21 16:44:32 · 736 阅读 · 0 评论