探究flink-stream如何增量的读取iceberg table
从iceberg的官方文档上可以看到如下介绍:
实例程序中设置了startSnapshotId,介绍说可以从指定的快照版本号开始读取增量的数据。那么笔者的问题来了:
flink-stream如何增量的读取iceberg table?
flink本身肯定没有增量读取iceberg的能力,这是提供框架层的方法,在源码iceberg/flink/src/main/java/org/apache/iceberg/flink/source/中找到了StreamingReaderOperator.java类,继承了f
原创
2021-11-11 17:10:05 ·
3954 阅读 ·
1 评论