idea+maven创建并测试flink处理kafka流的jar包过程

最新推荐文章于 2025-10-29 00:56:18 发布

原创

最新推荐文章于 2025-10-29 00:56:18 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何在IDEA中利用Maven创建一个Flink处理Kafka流的Java项目。首先，通过设置GroupID和ArtifactID创建基于flink-quickstart-java的maven项目，接着添加Kafka相关依赖。然后在StreamingJob.java中编写处理代码，并使用maven package打包成JAR。最后，将JAR上传到Flink服务器运行，并通过kafka-console-producer发送消息进行测试。

1、idea创建maven新项目，选择add achertype。

GroupID: org.apache.flink

ArtifactID: flink-quickstart-java

version: 1.12.2（安装了要运行的flink的版本）

点击ok了以后，在maven的achertype的列表里就可以选这个了，下一步，GroupID是com.app.***这样的项目名，ArtifactID是项目内标识名（idea文件夹名称）。后面maven的文件路径要注意是对的。

2、pom文件添加kafka依赖包

上网查了半天各种版本，最后定的kafka用0.11版本的，然后flink-connector-kafka的版本各种搜没看到用什么版本，最后发现用pom文件里默认的如下形式就可以，相互是兼容的。

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
   <version>${flink.version}</version>
</dependency>

3、在StreamingJob.java代码中添加如下：

        // set up the streaming execution environment
		final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		env.enableCheckpointing(5000); // 要设置启动检查点

		// execute program
		//env.execute("Flink Streaming Java API Skeleton");
		System

最低0.47元/天解锁文章