intellij idea下测试flink 连接kafka

最新推荐文章于 2022-08-09 08:46:49 发布

bingo的

最新推荐文章于 2022-08-09 08:46:49 发布

阅读量1.9k

点赞数

分类专栏：大数据文章标签： intellij idea kafka flink

本文链接：https://blog.youkuaiyun.com/hchhbbcxl/article/details/103295362

版权

本文介绍了在IntelliJ IDEA中创建一个Maven项目，使用Flink连接Kafka进行数据读写的步骤。首先，将官方提供的SocketWindowWordCount程序稍作修改，确保Flink版本与依赖匹配。然后，启动Kafka服务，创建topic，并通过nc命令发送数据。接着，打包项目为jar文件，并在Flink集群上运行。最后，观察Flink Job Manager监控Job状态，完成测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先新建一个quickstart的maven项目

把官方给的SocketWindowWordCount程序拷过来，稍微修改一下，只用来测试数据从kafka读入和写出的功能

package kafkaTest3;

import java.util.Properties;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSink;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.common.functions.MapFunction;

@SuppressWarnings("serial")
public class SocketWindowWordCount {
    public static void main(String[] args) throws Ex