
flink
文章平均质量分 58
走向自由
追随自己内心的声音,走向自由。
展开
-
Flink ProcessFunction
同一个key,若是有多个timer注册,则只会保留时间最小的那个。processingTime --> wall clock 触发。eventTime --> waterark 触发。用于两个数据量合并情况。原创 2023-03-06 17:39:18 · 108 阅读 · 0 评论 -
Flink 中延时消息处理
【代码】Flink 中延时消息处理。原创 2023-02-27 19:23:56 · 202 阅读 · 0 评论 -
Flink WaterMark 详解
在进行窗口处理时,不可能无限期的等待延迟数据到达,当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算,这个机制就是 Watermark(水位线),具体如下图所示。如果水位线设置的过于宽松,好处是计算时能保证近可能多的数据被收集到,但由于此时的水位线远落后于处理记录的时间戳,导致产生的数据结果延迟较大。如果设置的水位线过于紧迫,数据结果的时效性当然会更好,但由于水位线大于部分记录的时间戳,数据的完整性就会打折扣。3.2 水位线分配器。转载 2023-02-23 18:04:59 · 1438 阅读 · 0 评论 -
Flink 内存模型
最新内存模型flink1.10对内存使用进行了调整,模型划分更详细,但使初学者感觉更复杂了,从下图taskmanager内存模型可以看出一般。flink内存按功能模块可分为taskmanager与jobmanger, 其中jobmanger不承担计算任务,所以相对简单无需过多讨论。细分内存模型后,flink提供了大量参数来设置对应区块的大小,如下:参数非常多,容易让人混乱,所以flink也提供了一个非常简单的内存设置方法,即只需设置进程总内存即可,进程总内存包括了fl转载 2022-04-22 16:11:19 · 2399 阅读 · 0 评论 -
[flink operator] min和minBy的区别
学习摘录,原文来自https://www.cnblogs.com/ipoo/p/13084151.html解释官方文档中:The difference between min and minBy is that min returns the minimum value, whereas minBy returns the element that has the minimum value in this field (same for max and maxBy).翻译:..转载 2020-08-28 15:09:25 · 422 阅读 · 1 评论 -
Flink WordCount 之lamda版
学习Flink的时候第一个入门程序WordCount,官方给的使用匿名类实现方法,这样看起来代码不简洁。于是想用lamda改写下,踩了不少坑,记录下。Table of Contents官方给定版本Lamda第一版 POJO版错误1:Collector无泛型参数错误错误2: .keyBy("word") 类型不能做key的错误Lamda第二版 Tuple2版flink ...原创 2019-11-21 14:05:08 · 413 阅读 · 0 评论