flink_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

鱼的记忆儿

Flink 快速入门本文详细介绍了Apache Flink的系统架构和核心概念，适合深入学习和理解Flink的开发者。文章以Standalone会话模式为例，详细解析了Flink的作业提交和执行流程，包括客户端、JobManager、TaskManager等组件的功能与交互。JobManager作为任务管理和调度的核心，包含JobMaster、资源管理器和分发器三个组件，分别负责作业管理、资源分配和任务分发。TaskManager则是实际执行任务的进程，负责数据流的具体计算。文章还介绍了如何在本地IDEA中运行Flink程序并

阅读 1.6k

16赞

俊哥大数据

【亲测有效】Flink1.20分布式集群搭建-最新版本手把手搭建最新版本的Flink1.20分布式集群，包含Standalone和YARN两种运行模式的集群搭建，并通过案例进行会话模式和应用模式的实际操作。

阅读 2.8k

21赞

小码农叔叔

【大数据】Flink + Kafka 实现通用流式数据处理详解 Flink + Kafka 实现通用流式数据处理详解

阅读 1.7w

137赞

Docker + PyFlink1.17 数据写入 MySQL docker, flink 1.17 , mysql，实现数据etl

阅读 820

7赞

京东零售技术

京东零售基于Flink的推荐系统智能数据体系 |Flink Forward Asia 峰会实录分享接下来详细介绍京东搜索推荐系统智能数据体系的构成，第一个模块为索引，主要为召回服务提供数据支持。常见的索引构建流程是，从底池数据出发，经过索引构建操作，将构建完成的索引提供给召回服务。索引常见类型可划分为三类：(1) 个性化索引：这类索引可能涉及特定用户或某类用户的行为足迹或者是基于品类、品牌偏好形成的索引。(2) 基础索引：以京东海量商品为例，可将其归纳为基于品类、品牌的索引，同时还包括时间、LBS相关的索引。

阅读 1.0k

10赞

史上最全Flink面试题(完整版) Flink是一个分布式流处理框架，支持对有界和无界数据流进行状态计算。其核心特点包括流批一体化、事件驱动模型、高性能低延迟、容错机制和灵活编程模型。Flink采用Source→Transformation→Sink的编程模型，运行架构包含JobManager、TaskManager和Client三种角色。 Flink提供多种时间语义（事件时间、注入时间、处理时间）和窗口类型（滚动、滑动、会话窗口），并引入Watermark机制处理乱序数据。其容错机制基于Checkpoint和State实现，支持Exactl

阅读 976

16赞

逆风飞翔的小叔

【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步 springboot3 集成 Flink CDC 1.17 实现mysql数据同步

阅读 1.5w

73赞

闫哥大数据

2025最新版flink2.0.0安装教程（保姆级） Flink支持多种安装模式。

阅读 1.9k

23赞

从0开始基于docker的大数据环境搭建/Hadoop+Spark+Flink+Hbase+Kafka+Hive+Flume+Zookeeper+Mysql等基于docker的大数据单节点整合容器

阅读 835

24赞

Flink (一) ：初识Flink Flink 是一种开源的分布式计算框架，专为处理大规模数据流而设计。它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。

阅读 3.5k

20赞

Flink CDC整合到SpringBoot的一次实践最近在寻找ElasticSearch与数据库的同步方案，发现了Flink CDC的同步方案，故针对实践经历浅略地做了一次记录。

阅读 830

20赞

Flink-StarRocks详解:第五部分查询数据湖(第55天) 本文为Flink-StarRocks详解后续章节：主要详解StarRocks查询数据湖由于篇幅过长，后续接着下面进行详解：数仓场景：即席查询大案例

阅读 4.9k

71赞

Flink CDC连接Oracle测试和logminer解读 •：允许用户创建表。•：允许用户锁定任何表。•：允许用户修改任何表的结构。•：允许用户创建序列。

阅读 940

29赞

flink：java集成flink实现流数据处理（一） 2、引入依赖对应flink相关的依赖需要单独说明下，其jar版本需要根据flink版本来定，flink 1.11之前版本使用的是scala2.11, 之后加入了对scala2.12的支持，不同的版本引入的jar名称不同，比如包有3个，对应不同的scala版本，则为对多个版本的兼容版一般我们根据scala版本来定，比如我这里使用flink1.13，则对应scala2.12

阅读 6.8k

29赞

【Flink 核心篇】Flink 内存管理（一）：设置 Flink 进程内存 Apache Flink 通过严格控制各种组件的内存使用，在 JVM 上提供高效的工作负载。虽然社区努力为所有配置提供合理的默认值，但用户在 Flink 上部署的应用程序种类繁多，这意味着这并非总是可行。为了向用户提供最大的生产价值，Flink 允许对集群内的内存分配进行高级和精细调整。

阅读 3.4k

35赞

FlinkUDF用户自定义函数深度剖析 1.1 什么是 UDF？UDF 是用户根据业务逻辑自定义的函数，用于在数据处理过程中执行特定的操作。Flink 支持多种类型的 UDF，包括标量函数（ScalarFunction）、表函数（TableFunction）、聚合函数（AggregateFunction）等，覆盖了从单行数据转换到多行数据生成、分组聚合等多种场景。1.2 为什么需要 UDF？灵活性：处理复杂业务逻辑（如自定义加密、数据清洗）。性能优化：通过代码优化替代低效的 SQL 操作。复用性：封装通用逻辑，跨项目复用。扩展性。

阅读 791

18赞

TTXS123456789ABC

8 Flink 状态管理我们前面写的 wordcount 的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。

阅读 1.6k

10赞

3.阿里云flink&selectdb-py作业本文介绍在阿里云实时计算flink中使用python作业，把oss中的数据同步数据到阿里云selectdb的过程。python简单的语法特性更适合flink作业的开发；

阅读 852

4赞

灰太狼！！

Flink Sql：四种Join方式详解（基于flink1.15官方文档） Regular Joins（常规连接），Interval Joins（间隔连接），Temporal Joins（时态连接），lookup join（查找连接）

阅读 6.1k

24赞

解读 Flink Source 接口重构后的 KafkaSource AutoMQ 作为 Apache Kafka 的社区分叉项目，对其存储层进行了重新设计与实现，但是完整保留了 Apache Kafka 计算层的代码。对于 Apache Kafka 具有 100% 的兼容性。这意味着在 Flink 生态系统中，专为 Kafka 开发的 Flink Kafka Source/Sink 可以与 AutoMQ 完全兼容。

阅读 1.2k

27赞

作者推荐

代码匠心: 迹已陈兮德新，可敬而慕兮几春复秋

关注

Shockang: 我是Shockang，AI进化比我喝咖啡还快，程序员危机UP！不想被取代，就抱紧读书救命稻草，还能一起边学边吐槽，欢迎来玩！

关注

linmoo1986: 十多年深耕研发架构领域，涉及多个行业实际落地，精通java、python

关注

maozexijr: ╮(╯_╰)╭ Don't expect me to reply to you in time

关注

2401_8554978: 大数据应届生，现在是销售，准备转大数据开发。记录自己的成长

关注

诗旸的技术记录与分享: 从事大数据平台架构设计与大数据分析功能研发，记录与分享自己对Flink、Spark、Yarn、Hdfs、Kafka等大数据组件的源码研究与研发实践。

关注

bigdata-rookie: 随便写点

关注

隔着天花板看星星: 每日预留须臾，静思冥想，心游万仞。此乃创新之源泉，进步之阶梯，成长之维他命，为自我超越注入不绝动力。

关注

SunTecTec: Apache Flink, Paimon and Seatunnel Contibutor

关注

500佰: 公众号：农村程序员500佰，开发代码库：https://gitee.com/wubaidev

关注