Flink1.9整合Kafka

最新推荐文章于 2025-03-19 21:57:12 发布

Seven小七

最新推荐文章于 2025-03-19 21:57:12 发布

阅读量200

点赞数

文章标签：大数据 flink java

本文链接：https://blog.youkuaiyun.com/h472591847/article/details/132833779

版权

本文介绍了如何在Maven3.6.3和Java8环境中，利用ApacheFlink1.9.0的Kafka连接器创建一个基本的Kafka消费端Java应用，包括添加依赖、设置Kafka配置和执行流计算任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文环境

Maven 3.6.3
Java 8

Flink Kafka连接器

Maven引入相关依赖:

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.9.0</version>
  <scope>provided</scope>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.9.0</version>
  <scope>provided</scope>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-kafka_2.11</artifactId>
  <version>1.9.0</version>
</dependency>

Kafka消费端JAVA:

// 1.获取flink流计算的运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

//Kafka props
Properties properties = new Properties();
//指定Kafka的Broker地址
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,brokers);
//指定组ID
properties.put(ConsumerConfig.GROUP_ID_CONFIG,TrackConstant.GROUP_ID);
//如果没有记录偏移量，第一次从最开始消费
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

// 2.从kafka读取数据
FlinkKafkaConsumer<String> kafkaSource = new FlinkKafkaConsumer<>("test-flink-topic", new SimpleStringSchema(), properties);

DataStreamSource<String> stringDataStreamSource = env.addSource(kafkaSource);

//3.调用Sink
stringDataStreamSource.print();

//4.启动流计算

env.execute("KafkaSouceReview");