flink kafka 实现如下功能

最新推荐文章于 2025-08-31 17:35:10 发布
最新推荐文章于 2025-08-31 17:35:10 发布
阅读量970 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据仓库技术体系 文章标签： flink sql kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/121599022
本文展示了如何利用Flink从Kafka topic中读取订单数据，并通过SQL实现数据处理，包括按ord_id去重保留最新记录，以及基于时间窗口的聚合计算，最后将结果写入指定表。

1 ）一个kafka的topic order
{“ord_id”:“1”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:32:24”,“total_fee”:25}
{“ord_id”:“1”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:32:55”,“total_fee”:25}
{“ord_id”:“1”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:35:14”,“total_fee”:25}
{“ord_id”:“2”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:36:51”,“total_fee”:48}
{“ord_id”:“2”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:37:55”,“total_fee”:48}
{“ord_id”:“3”,“city_id”:“300200”,“submit_time”:“2021-11-25 11:38:57”,“total_fee”:35}

2）按key取最新1条后的结果集 order_unique_view
select * from order_unique_view
;
ord_id city_id submit_time total_fee
1 300100 2021-11-25 11:35:14 25
2 300100 2021-11-25 11:37:55 48
3 300200 2021-11-25 11:38:57 35

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink与Kafka集成：构建实时数据管道的完美方案
AI架构师小马
08-30 1038
凌晨1点，某电商平台的运维工程师小李盯着监控大屏，额头上渗出细汗——最近一周，用户投诉“推荐商品不及时”的数量激增。原来，平台的推荐系统依赖：每天凌晨2点运行Hadoop任务，处理前一天的用户行为数据，生成推荐列表。这种模式下，用户上午的点击行为要到第二天才能反映在推荐中，导致推荐的商品总是“慢半拍”。“如果能把处理延迟从24小时降到1秒，用户体验会有质的飞跃。”小李的脑海里浮现出这个念头。
【大数据】Flink + Kafka 实现通用流式数据处理详解
热门推荐
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
flink-connector-kafka_2.11-1.12.2.jar
03-27
flink-connector-kafka_2.11-1.12.2.jar
Flink Kafka
u012485099的博客
01-14 2881
如自定义 KafkaSerializationSchema。且调用 FlinkKafkaProducer(String defaultTopic,KafkaSerializationSchema serializationSchema,Properties producerConfig,FlinkKafkaProducer.Semantic semantic) 构造器。此时分区器为null。此时依次调用了方法。send方法为kafka的发送方法。
Flink与Kafka
Suzy_Leili的博客
06-04 1903
Apache Flink是一个流处理框架，用于处理大量实时数据。它支持数据流和数据集两种操作模式，可以处理批量数据和流式数据。Flink提供了一种高效的、可扩展的、可靠的流处理解决方案，适用于各种应用场景，如实时分析、事件驱动应用、数据流处理等。具体来说，Flink可以作为Kafka的消费者，从Kafka中读取数据，并进行流处理。同时，Flink也可以将处理结果写入Kafka，实现数据的持久化和分布式传输。因此，Flink和Kafka在数据流处理中具有很高的兼容性和可扩展性。
Flink与Kafka集成
AI天才研究院
01-18 4315
1.背景介绍 Flink与Kafka集成是一种常见的大数据处理技术，它可以帮助我们实现实时数据处理和分析。Flink是一个流处理框架，可以处理大量数据并提供实时分析功能。Kafka是一个分布式消息系统，可以用于构建实时数据流管道。在本文中，我们将深入了解Flink与Kafka集成的背景、核心概念、算法原理、代码实例等方面。 1.1 Flink的背景 Flink是一个开源的流处理框架，由Apa...
Flink入门，flink接入kafka数据源，消费数据并处理数据
荒野拖拉机
05-23 4114
构建时会提示找不到类，在idea中勾选如图选项，或者在pom文件中修改scope的值为compile。消费者可以收到消息，kafka安装完成，如果没有收到可以检查topic是否一致，ip是否正确。首先先下载kafka的linux版本，可以搜索阿里云的镜像进行下载，速度很快。将文件中的listeners注释去掉，并修改值为你虚拟机的ip，如下图。最后运行新的消费者，消费处理后的数据，只需修改topic。然后运行代码，在生产者生产一条数据进行查看。启动生产者服务，bin目录下。安装过程可自行搜索。
源码解读 | Flink Kafka Connector Source 如何提交 Offset
最新发布
SmartSi
08-31 1042
本文深入解析了Apache Flink 1.13.6中FlinkKafkaConsumer的Offset提交机制。
精选资源
flink 实现将kafka的数据读取出来，并经过xml配置和重写算子方式实现数据处理
08-17
同样，Flink 提供了 Kafka Sink 来实现这一功能。在 XML 配置中，我们可以这样配置： ```xml <kafka> <bootstrap.servers>localhost:9092 <topic>output-topic <name>key.serializer <value>org.apache....
flink实现复杂kafka数据读取
core815的专栏
12-18 1351
flink实现复杂kafka数据读取
flink与kafka基础知识
2403_83630621的博客
07-31 1815
Flink是一个分布式实时计算框架。用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。有状态：有状态计算是将当前批次结果加上上一批次计算的结果。无界流有定义流的开始，但没有定义流的结束(没有边界)。它们会无休止地产生数据。流处理。有界流有定义流的开始，也有定义流的结束。有界流(假如1000条数据)，即可批处理(一次处理一批)，也可以流处理(一条一条处理)。任意规模进行计算：指的是flink主从节点。jobmanager:driver端。
Flink的简单学习(kafka)三
weixin_65909965的博客
06-04 1493
kafka的相关知识
Kafka与Flink结合使用
weixin_40366684的博客
05-29 1万+
Kafka与Flink结合使用 本地连接kafka 首先可以先以本地模式来对kafka进行操作。 当我们在系统（可以是windows，尽量linux）上部署好了Zookeeper和kafka集群，值得注意的是单机也可以部署一个假集群来对实际生产环境做一个模拟（参考：https://blog.youkuaiyun.com/weixin_40366684/article/details/106258816），接下来我们可以启动zookeeper集群。 # bin/zkServer.sh start conf/zoo-1.c
Flink、Kafka梳理
xiaochen_bigdata的博客
02-16 7953
flink和kafka梳理
5.Flink对接Kafka入门
03-10 1万+
Flink Connector Kafka1. Kafka1.1. [Kafka官网](http://kafka.apache.org/)1.2. Kafka 简述1.3. Kafka特性1.4. kafka的应用场景2. Kafka与Flink的融合3. 寄语：海阔凭鱼跃，天高任鸟飞 1. Kafka 1.1. Kafka官网 1.2. Kafka 简述 Kafka 是一个分布式消息系统：...
Kafka 和 Flink的讲解
不辉放弃的博客
04-05 1818
【代码】Kafka 和 Flink的讲解。
kafka和flink的入门到精通 1 大数据时代，分布式数据存储，数仓
水w的博客
09-19 1221
kafka和flink的入门到精通 1 大数据时代，分布式数据存储，数仓
Flink流式处理集成kafka
chongfa2008的博客
07-13 1937
1：引言 对于实时处理当中，我们实际工作当中的数据源一般都是使用kafka，所以我们一起来看看如何通过Flink来集成kafka Flink提供了一个特有的kafka connector去读写kafka topic的数据。flink消费kafka数据，并不是完全通过跟踪kafka消费组的offset来实现去保证exactly-once的语义，而是flink内部去跟踪offset和做checkpoint去实现exactly-once的语义，而且对于kafka的partiti...
Kafka篇：Kafka搭建、使用、及Flink整合Kafka文档
weixin_52134189的博客
06-01 2348
Kafka搭建、使用、及Flink整合Kafka
flink 实现 kafka 3张表实时关联
07-11
在 Apache Flink 的实时流处理中，实现 Kafka 中三张表的关联操作，通常涉及将 Kafka 主题中的数据映射为动态表（Dynamic Table），并通过 Flink SQL 或者 Table API 来完成多表之间的连接。这种场景下，Kafka 数据源通常来自于数据库的变更日志（例如 Oracle、MySQL 的 DML 操作记录）[^3]，通过 Kafka Connector 将这些变更事件写入 Kafka 不同的主题中。 以下是一个典型的实现流程： ### 1. 使用 Kafka Connector 映射 Kafka 主题为表 Flink 提供了 Kafka Connector，可以将 Kafka 的主题映射为 Flink 表结构。假设 Kafka 中有三个主题分别对应三张表 `orders`, `customers`, 和 `products`，可以通过如下语句创建表： ```sql CREATE TABLE orders ( order_id STRING, customer_id STRING, product_id STRING, order_time TIMESTAMP(3), WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'orders-topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ); ``` 对 `customers` 和 `products` 表做类似的操作即可，只需要更改字段和主题名称。 ### 2. 实现多表 JOIN 操作 在 Flink SQL 中支持多种类型的 JOIN，包括 `INNER JOIN`、`LEFT JOIN`、`TEMPORAL JOIN` 等，适用于不同的业务场景。 #### 示例：基于时间窗口的 INNER JOIN ```sql SELECT o.order_id, c.customer_name, p.product_name, o.order_time FROM orders AS o INNER JOIN customers FOR SYSTEM_TIME AS OF o.proc_time AS c ON o.customer_id = c.customer_id INNER JOIN products FOR SYSTEM_TIME AS OF o.proc_time AS p ON o.product_id = p.product_id; ``` 上述查询使用了 `FOR SYSTEM_TIME AS OF` 子句进行 Temporal Join，表示从维度表中获取某一时刻的有效记录。这种方式非常适合处理 Kafka 中的变更日志流，特别是当维度表使用 Upsert Kafka Connector 创建时，能够保证查询结果与源表保持一致 [^2]。 ### 3. 使用 Upsert Kafka Connector 同步更新数据 为了确保维度表（如 `customers` 和 `products`）能反映最新的状态，可以使用 `upsert-kafka` connector 创建动态表： ```sql CREATE TABLE customers ( customer_id STRING PRIMARY KEY, customer_name STRING ) WITH ( 'connector' = 'upsert-kafka', 'topic' = 'customers-topic', 'properties.bootstrap.servers' = 'localhost:9092', 'key.format' = 'json', 'value.format' = 'json' ); ``` 通过这种方式，Flink 可以自动处理 Kafka 中的更新和删除操作，并在执行 JOIN 时提供最新的数据版本 [^2]。 ### 4. 设置 Watermark 和时间属性 为了支持事件时间语义和窗口操作，需要在主表（如 `orders`）中定义 watermark 和时间字段。这有助于控制延迟事件并提高窗口聚合的准确性 [^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值