【测试】关于kafka数据被删除后，flinksql表数据是否会被删除问题的测试

槐序i

于 2021-05-11 11:34:14 发布

阅读量960

点赞数 1

CC 4.0 BY-SA版权

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/spark9527/article/details/116647279

本文记录了FlinkSQL与Kafka集成时，针对Kafka使用10分钟清理策略后的测试情况。测试发现，当Kafka数据被删除后，FlinkSQL对应的表数据也会消失，但基于这些数据的汇总表仍然存在。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

FlinkSql与Kafka的Topic策略测试记录

关于kafka数据被删除后，flinksql表数据是否会被删除问题的测试

一、创建10分钟策略的topic

kafka-topics  --create --zookeeper 192.168.5.185:2181,192.168.5.165:2181,192.168.5.187:2181 --replication-factor 3 --partitions 3 --topic test01   --config log.retention.minutes=10

kafka-console-producer  --broker-list 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic test01

kafka-topics --delete --topic test01 --zookeeper 192.168.5.185:2181,192.168.5.165:2181,192.168.5.187:2181

kafka-console-consumer  --bootstrap-server 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic output --from-beginning

kafka-topics --bootstrap-server 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic test01 --describe

二、创建flinksql的表

CR

最低0.47元/天解锁文章

200万优质内容无限畅学