Kafka集成Flink

最新推荐文章于 2024-06-01 08:30:00 发布

Smartaotao

最新推荐文章于 2024-06-01 08:30:00 发布

阅读量1.8k

点赞数

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/weixin_38425605/article/details/123976460

版权

本文档介绍了如何集成Flink与Kafka，包括Flink环境的准备，创建Flink Kafka Producer发送数据，以及构建Flink Kafka Consumer进行数据消费。详细步骤包括在Maven项目中配置log4j.properties，创建Flink Kafka Producer和Consumer的Java类并提供示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集成Flink

一、Flink环境准备
二、Flink生产者
- 1.在包名下创建java类：FlinkKafkaProducer
三、Flink消费者

Flink是一个在大数据开发中非常常用的组件。可以用于Kafka的生产者，亦可以用于Flink的消费者
在这里插入图片描述

一、Flink环境准备

创建一个maven项目flink-kafka
添加配置文件

<dependencies>
        
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.13.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>1.13.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId></