基于flink的kafka-upsert 案例

最新推荐文章于 2025-04-27 19:59:27 发布

科学的N次方

最新推荐文章于 2025-04-27 19:59:27 发布

阅读量554

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系文章标签： flink sql kafka

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/121602269

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Flink处理Kafka数据，通过创建source_ods_fact_user_ippv和result_total_pvuv_min表，进行数据聚合并写入Kafka主题。详细步骤包括启动Zookeeper和Kafka服务，创建Kafka topic，设置Flink SQL的源表和Sink表，以及展示样例数据。

nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties &
nohup ./bin/kafka-server-start.sh config/server.properties &
./bin/kafka-topics.sh --create --zookeeper cetiti242:2181 --replication-factor 1 --partitions 1 --topic user_ippv
./bin/kafka-topics.sh --create --zookeeper cetiti242:2181 --replication-factor 1 --partitions 1 --topic result_total_pvuv_min
./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
./bin/kafka-topics.sh --zookeeper localhost:2181 --list

./kafka-console-producer.sh --broker-list localhost:9092 --topic result_total_pvuv_min
./kafka-console-producer.sh --broker-list localhost:9092 --topic user_ippv

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic result_total_pvuv_min

了解本专栏