flink_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

Java 大视界 -- 基于 Java+Flink 构建实时电商交易风控系统实战（436）本文介绍基于Java+Flink构建实时电商交易风控系统的实战经验。系统采用分层架构设计，包含数据采集层、实时计算层、规则引擎层、数据存储层和应用服务层，实现毫秒级风险识别与拦截。核心组件包括Flink 1.17处理交易数据流、Drools规则引擎动态匹配风险规则、Redis缓存热点数据等。文章详细提供了开发环境配置清单和Maven依赖说明，确保系统具备低延迟(≤200ms)、高吞吐(10万TPS)和高可用性(99.99%)特性。该方案已通过生产环境验证，可有效应对恶意刷单、盗刷支付等电商交易风险。

阅读 2.9k

55赞

闫哥大数据

2025最新版flink2.0.0安装教程（保姆级） Flink支持多种安装模式。

阅读 4.1k

27赞

谭俊杰Michael

技术总结待续deepseek flink 技术总结待续。

阅读 6.4k

2赞

Docker环境安装Kafka、Flink、ClickHouse镜像通过Docker Compose，可以轻松地在本地环境中部署和管理Kafka、Flink和ClickHouse。这种方式不仅简化了环境配置，还提高了服务管理的灵活性和效率。

阅读 606

3赞

谭俊杰Michael

deepseek技术总结待续 flink技术总结待续。

阅读 2.2k

3赞

六月大数据

Flink中窗口的真正关闭时间在 Flink 窗口计算中，由和，之后到达的该窗口数据会被丢弃（或通过侧输出收集）。

阅读 1.6k

14赞

《我今年写过的最高效的大数据开发程序 --FlinkSinkToHbaseES》项目实战我今年写过的最高效的大数据开发程序 FlinkSinkHbaseElasticsearch

阅读 2.6k

70赞

Flink SQL 深入了解日期与时间函数 Flink SQL 提供了丰富的日期时间函数，包括获取当前系统时间的函数如 LOCALTIME、LOCALTIMESTAMP、CURRENT_DATE、CURRENT_TIMESTAMP/NOW()等。这些函数在不同时区下会返回对应时区的值（Flink 1.13.0+版本），类型分别为TIME(0)、TIMESTAMP(3)、DATE等。在流模式下会对每个记录计算，而批处理模式下只在查询开始时计算一次。使用时需注意时区设置对结果的影响。

阅读 984

20赞

FlinkSql（详细讲解一） FlinkSQL基础教程摘要：本文介绍了FlinkSQL的核心概念与应用方法。FlinkSQL作为流批统一的处理框架，通过SQL语法简化数据处理流程。主要内容包括：1)核心概念：流批统一处理、表与视图、连接器等；2)环境搭建：SQLClient的启动与使用；3)数据类型：基本类型、复杂类型及时间类型的应用；4)表操作：源表/汇表的创建与管理，水印机制处理事件时间；5)基础查询：SELECT语句、聚合操作及结果写入；6)视图与表管理命令。该教程为初学者提供了FlinkSQL的入门指导，为后续学习窗口计算等高级

阅读 2.1k

38赞

Flink on yarn模式下，JobManager异常退出问题这个问题排除了很久，其中更换了Flink版本，也更换了Hadoop版本一直无法解决，JobManager跑着跑着就异常退出了。其实提交Flink on Yarn的Pro-Job程序，从开始到结束都有心跳异常的错误。最后超过默认的超时时间180s就开始协商退出了，所以程序每次跑3分钟后就开始退出了。是客户端与jobmanager心跳超时，协商退出的jobmanager。Flink 1.13.1、Flink1.15.2、Flink1.16.3都不存在以上问题。网上搜了一圈，都说内存不足、资源不足，配置错误。

阅读 1.1k

23赞

还是大剑师兰特

Flink基础入门教程（ 100 问题+答案）本文整理了100个Flink基础入门问题，涵盖核心概念、功能算子、状态管理、时间窗口及部署优化等五大方面。内容包括Flink架构、流批统一、状态管理、检查点机制、时间特性、窗口计算、算子功能、部署模式等核心知识点，并附有详细解答链接。适合Flink初学者系统学习框架原理与应用实践，帮助开发者全面掌握流处理核心技术。

阅读 898

33赞

一瓢一瓢的饮 alanchanchn

Flink原理与实战（java版）#第4章 Flink的时间与窗口（整章）本章第一部分着重说了watermark，也即水印。水印是Flink处理流数据的重要技术，如何确保精确一次执行水印起着重要的作用，当然水印的出现就伴生而来的是乱序与延迟数据，这些部分内容在该章节也有详细的介绍。本章的第二部分则是窗口，对流式数据的计算，如何进行丈量与触发计算往往只能通过所谓的窗口来体现。

阅读 2.5k

39赞

Apache Flink Elasticsearch Connector 技术文档 Apache Flink Elasticsearch Connector 技术文档本文档旨在指导您了解并使用 Apache Flink Elasticsearch Connector，一个用于将Flink应用数据流无缝集成到Elasticsearch的强大工具。下面我们将逐一解析从安装到使用的每一个步骤。安装指南环境需求Unix-like操作系统（Linux或Mac OS X）Git...

阅读 680

17赞

木风小助理

Flink CDC：构建实时数据入湖架构的核心引擎然而，如何将在线业务数据库中的变更数据（Insert/Update/Delete）以低延迟、高可靠、无侵入的方式同步至下游分析系统，始终是构建实时数据链路的核心挑战。它不仅简化了从数据库到数据湖、数据仓库的同步路径，还为实时分析、实时风控、实时推荐等场景提供了稳定、高效的数据源头。该链路较长，依赖组件多，运维复杂。3. 统一事件格式输出：所有数据（全量与增量）均以统一的RowData或JSON格式输出，包含操作类型（INSERT/UPDATE/DELETE）、时间戳、变更前后数据镜像等元信息。

阅读 881

7赞

诗旸的技术记录与分享

Flink-1.19.0源码详解11-Flink ResourceManager资源调度本文从Flink Resource Manager为每个Execution节点组进行计算资源的申请与启动TaskManager开始解析。解析Flink Resource Manager管理自身计算资源，并为节点组向Yarn Resource Manager申请封装Cpu与内存资源的Container，进而为节点组启动新的TaskManager的过程。

阅读 972

16赞

FlinkCDC监听获取mysql对应binlog日志数据 flinkcdc

阅读 914

4赞

Flink CDC 用 PolarDB-X CDC 实时同步数据到 Elasticsearch 本文介绍了如何搭建基于Flink CDC、PolarDB-X和Elasticsearch的数据同步系统。主要内容包括：1)使用Docker Compose部署PolarDB-X、Elasticsearch和Kibana环境；2)准备Flink 1.18.0运行环境及CDC连接器；3)在PolarDB-X中创建商品表和订单表；4)启动Flink集群并配置CDC源表；5)创建Elasticsearch Sink表实现订单与商品信息的宽表同步。系统通过Flink CDC实时捕获PolarDB-X的变更数据，并将处

阅读 5.2k

36赞

一瓢一瓢的饮 alanchanchn

Flink原理与实战（java版）#第6章 Flink的 DataStream API（第四节转换算子）第四介绍了Flink的23种常用的转换算子、物理分区算子链和资源组以及名字和描述的内容，同时针对比较常用的给出了相应的示例，比如OutputTag和Process算子代替Split和Select示例。

阅读 879

1赞

长风清留扬

基于 Flink 的实时推荐系统：从协同过滤到多模态语义理解本文介绍了基于 Flink 的实时推荐系统，从协同过滤到多模态语义理解的技术演进。推荐系统通过分析用户行为数据，精准推送用户感兴趣的物品。协同过滤算法通过用户相似性进行推荐，而基于内容的推荐则通过物品特征匹配用户偏好。Flink 作为实时处理的“超级引擎”，具备高吞吐量、低延迟、流批一体化和强容错性，广泛应用于实时用户行为分析和物品更新推荐。多模态语义理解则通过融合文本、图像、音频等多模态数据，提升推荐的精准度和用户体验。文章还提供了基于 Flink 的实时用户行为分析代码示例，展示了如何通过 Kafka

阅读 1.1k

15赞

Spring Boot 整合 Apache Flink 的详细过程本文介绍了如何将 Apache Flink 流处理框架与 Spring Boot 应用整合，构建高效的数据处理系统。主要内容包括环境准备（JDK 17+、Maven 3.8+）、Spring Boot 项目创建、Flink 依赖配置（flink-java、flink-streaming-java），以及编写并运行一个简单的 WordCount 流处理作业。通过 Spring Boot 主类触发 Flink 作业，支持本地测试与集群部署，并提供了扩展建议（动态作业管理、数据源优化）。该方案简化了 Flink

阅读 2.3k

20赞

作者推荐

@SmartSi: Stay Hungry, Stay Foolish

关注

IT贫道: 10余年大数据架构行业工作经验，多年线下和线上大数据教学经验，专注于大数据技术分享。

关注

hy1568786: 码中问道

关注

诗旸的技术记录与分享: 从事大数据平台架构设计与大数据分析功能研发，记录与分享自己对Flink、Spark、Yarn、Hdfs、Kafka等大数据组件的源码研究与研发实践。

关注

jiedaodezhuti: 目前工作主要涉及大数据平台，数据治理方面的工作；

关注

500佰: 公众号：500佰

关注

bigdata-rookie: 随便写点

关注

Apache Flink: Apache Flink 中文社区运营

关注

mn_kw: 喜欢研究大数据组件技术，深入内核，喜欢前沿技术，大模型，智能体深度使用

关注

PONY LEE: 运动不息，生命不止！

关注