
flink
江南小白龙
这个作者很懒,什么都没留下…
展开
-
【Flink系列1】flink与spark的区别
spark基本架构 flink基本架构 Spark提出的最主要抽象概念是弹性分布式数据集(RDD) flink支持增量迭代计算 性能对比 首先它们都可以基于内存计算框架进行实时计算,所以都拥有非常好的计算性能。经过测试,Flink计算性能上略好。 测试环境: CPU:7000个;内存:单机128GB;版本:Hadoop 2.转载 2017-09-10 12:51:20 · 15359 阅读 · 0 评论 -
【Flink系列2】时间窗口
引出 对于流处理系统来说,流入的消息是无限的,所以对于聚合或是连接等操作,流处理系统需要对流入的消息进行分段,然后基于每一段数据进行聚合或是连接等操作。消息的分段即称为窗口,流处理系统支持的窗口有很多类型,最常见的就是时间窗口,基于时间间隔对消息进行分段处理。本节主要介绍Flink流处理系统支持的各种时间窗口。 对于目前大部分流处理系统来说,时间窗口一般是根据Task所在节点的本地时钟来进转载 2017-09-10 14:12:25 · 3814 阅读 · 0 评论