一、环境准备
flink官方集成了通用的 Kafka 连接器,使用时需要根据生产环境的版本引入相应的依赖
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<flink.version>1.14.6</flink.version>
<spark.version>2.4.3</spark.version>
<hadoop.version>2.8.5</hadoop.version>
<hbase.version>1.4.9</hbase.version>
<hive.version>2.3.5</hive.version>
<java.version>1.8</java.version>
<scala.version>2.11.8</scala.version>
<mysql.version>8.0.22</mysql.version>
<scala.binary.version>2.11</scala.binary.version>
<maven.compiler.source>${
java.version}</maven.compiler.source>
<maven.compiler.target>${
java.version}</maven.compiler.target>
</properties>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId><

本文介绍了如何在Flink中使用KafkaSink进行数据流处理,包括环境准备(依赖版本),序列化器的选择和配置,以及不同容错保证级别的设置,如精确一次写入Kafka的条件。同时,还涉及了启动Zookeeper和Kafka的基本步骤。
最低0.47元/天 解锁文章
1999

被折叠的 条评论
为什么被折叠?



