Flink摸索之路（一）

最新推荐文章于 2025-12-13 11:16:26 发布
原创 最新推荐文章于 2025-12-13 11:16:26 发布 · 159 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文深入探讨了Flink中Window机制的工作原理，包括其三种时间类型：事件时间、处理时间和摄取时间，以及Watermark机制如何确保事件的有序处理。同时，文章还介绍了DataStream API的类型、常用算子及Tuple的使用，以及Checkpoint机制的原理。

window机制

  1. Flink的三种时间类型和watermark机制

https://www.cnblogs.com/supertonny/p/11430145.html

  1. Flink 原理与实现：Window 机制

http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/

DataStream的类型

https://blog.youkuaiyun.com/chybin500/article/details/87260869

常用算子

https://blog.youkuaiyun.com/chybin500/article/details/87260869

Tuple使用

Transformation

http://www.justdojava.com/2019/11/12/flink_learn_transformation/

Checkpoint机制原理

https://www.jianshu.com/p/4d31d6cddc99

Flink集群架构
大模型与Agent智能体
02-19 580
Flink集群架构 目录 Flink集群架构JobManagerTaskManagerClientJobGraph Flink集群架构 JobManager TaskManager Client JobGraph
Flink RPC Connector 实现原理与代码实战
AI天才研究院
05-22 593
在流处理场景下,数据往往来自多个异构的源系统,如消息队列、数据库、文件系统、API 服务等。Flink 作为流处理的核心引擎,需要能够灵活地与这些外部系统进行数据交换。接收 RPC 调用,动态控制 Flink 作业的行为,如启停任务、调整并发度、更新配置等。向其他服务发起 RPC 调用,触发异步流程,如调用推理服务进行在线预测等。为满足这些需求,Flink 内置了 RPC Connector 机制,提供了一套通用组件和编程接口,帮助用户简单快速地实现 RPC 交互。继承接口,实现一个自定义的。
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp； 高效协同_flink 创建kafka sink
2401_84170623的博客
04-28 1296
用于序列化消息键的序列化器类。通常是指实现了Serializer接口的类的全限定名用于序列化消息值的序列化器类客户端与服务器保持空闲连接的最长时间（毫秒）。默认值为 540000（即 9 分钟）。"900000"表示客户端与服务器保持空闲连接的最长时间为 15 分钟用于指定消息将被发送到哪个分区的算法，即分区器的实现类。Kafka 中的主题（topic）通常被划分为多个分区，每个分区都包含有序的消息序列。分区器决定了生产者发送的消息应该被分配到哪个分区中。通过配置。
十一、Flink 自定义 filter 方法
猫猫爱吃小鱼粮
08-11 1938
Flink 自定义 filter 方法
Flink实时仓库-ODS&DIM层实现模板代码
S1124654的博客
07-18 959
Flink实时仓库-ODS&DIM层实现模板代码
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 5235
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
Flink的sink实战之一：初探
2401_84046577的博客
04-23 1143
各位读者，由于本篇幅度过长，为了避免影响阅读体验，下面我就大概概括了整理了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！**
Flink的sink实战之一：初探(1)
2401_84046545的博客
04-23 1151
谈到面试，其实说白了就是刷题刷题刷题，天天作死的刷。。。。。为了准备这个“金三银四”的春招，狂刷一个月的题，狂补超多的漏洞知识，像这次美团面试问的算法、数据库、Redis、设计模式等这些题目都是我刷到过的并且我也将自己刷的题全部整理成了PDF或者Word文档（含详细答案解析）66个Java面试知识点架构专题（MySQL，Java，Redis，线程，并发，设计模式，Nginx，Linux，框架，微服务等）+大厂面试题详解（百度，阿里，腾讯，华为，迅雷，网易，中兴，北京中软等）算法刷题（PDF）
Flink的sink实战之四：自定义
afsdfrsg的博客
05-04 743
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1
2401_83916355的博客
04-23 737
引领完成Docker的安装、部署、管理和扩展，让其经历从测试到生产的整个开发生命周期，深入了解Docker适用于什么场景。并且这本Docker的学习权威指南介绍了其组件的基础知识，然后用Docker构建容器和服务来完成各种任务：利用Docker为新项目建立测试环境，演示如何使用持续集成的工作流集成Docker，如何构建应用程序服务和平台，如何使用Docker的API，如何扩展Docker。
flink1.14 sql基础语法（一） flink sql表查询详解
segegefe的博客
09-09 2160
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Flink开发中遇到的问题及解法
热门推荐
小龙的博客
04-09 1万+
1. 当Source是Kafka的时候，如何设置Source Operator的并发度？如果没有指定，Source Operator的个数与集群中的TaskManager的个数相等。如果手动设置，建议使用的slot个数=Kafka Partition的个数／TaskManager的个数。此时，Slot的个数需大于等于2.因为其中有一个Source Operator。也不建议在一个Slot中启用多线...
Flink SQL Top-N 深度从“实时榜单”到“少写点数据”
hello.reader
12-13 597
Flink SQL Top-N 核心要点总结：Top-N通过ROW_NUMBER+OVER+rownum过滤的固定模式实现，分为连续Top-N（实时更新）和窗口Top-N（窗口结束输出）。关键点包括：1）必须严格遵循优化器识别模式；2）结果表需支持upsert并正确设计主键；3）生产环境建议不输出rownum以减少IO；4）Flink 2.0+可使用QUALIFY简化语法。此外，需注意状态缓存调优、TTL问题处理，并根据场景选择合适的Top-N类型。常见错误包括过滤条件写法不当、sink不支持更新等。
Flink SQL 中的 ORDER BY 子句批处理 vs 流处理的排序语义
hello.reader
12-11 926
Flink SQL中的ORDER BY在批处理和流处理模式下有本质区别。批处理模式下可实现全局排序，但资源消耗大；流处理模式下必须将时间属性作为主排序列且升序排列，以保证渐进输出。实际应用中，流式ORDER BY通常配合窗口函数和LIMIT使用，如窗口TopN或局部有序输出。关键建议：离线全局排序用批处理模式，实时有序查询需结合时间属性和窗口函数，避免对无限流做全局排序。
java实现发布flink k8s application模式作业
luohualiushui1的专栏
12-08 1317
java实现发布flink k8s application模式作业
Flink学习笔记：多流 Join
K_Ohaha的博客
12-08 690
本文介绍了 Flink 中实现流数据 Join 的两种主要方法：Window Join 和 Interval Join。Window Join 通过窗口机制对相同 key 的元素进行关联，分为滚动窗口、滑动窗口和会话窗口三种类型。Interval Join 则基于事件时间范围进行关联，支持设置上下偏移量。此外，文章还介绍了使用 CoGroup 实现 left join 的方法。
Flink SQL Window Top-N窗口榜单的正确打开方式
hello.reader
12-13 762
本文介绍了Flink SQL中的Window Top-N功能，重点说明其核心概念、语法规范和使用场景。Window Top-N用于在每个窗口内筛选N个最大/最小值，相比连续Top-N性能更优。文章详细讲解了必须包含window_start和window_end字段等前置条件，提供了标准SQL模板和两个典型示例（窗口聚合后Top-N和直接窗口Top-N）。同时指出了当前限制，如不支持Batch模式下的SESSION窗口，并给出工程化建议，包括主键设计和性能调优参数。这些内容为开发者正确使用Window Top
Flink SQL Deduplication用 ROW_NUMBER 做流式去重
最新发布
hello.reader
12-13 419
Flink SQL去重(Deduplication)是流式数据处理中移除重复记录的关键操作，通过保留每组去重键(PARTITION BY)的第一条或最后一条记录(由时间属性ORDER BY决定)。标准写法包括QUALIFY或子查询+ROW_NUMBER=1两种模式，需确保排序使用处理时间或事件时间。事件时间排序结果更稳定，而处理时间可能波动。去重会产生更新流，要求下游支持upsert机制。需注意状态管理，合理设置TTL避免状态膨胀。常见错误包括缺少rownum=1条件、使用非时间属性排序、下游不支持更新流等
一线大厂深度分享：Apache Flink的实时技术演进之路
它可以同时处理批处理和流处理，具有高性能、高可伸缩性、准确性和低延迟的特点，这些特性使得 Flink 成为当前实时计算领域内的热门技术之一。 本书详细阐述了在快手平台中，Flink 如何实现日均处理万亿级数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值