Flink 任务打包、提交

最新推荐文章于 2025-06-28 18:21:18 发布

weixin_34279061

最新推荐文章于 2025-06-28 18:21:18 发布

阅读量2.7k

点赞数 3

文章标签：大数据 java

本文详细介绍了如何在Ubuntu 16.04上使用Maven为Flink 1.6.1计算任务进行打包，并跳过可能导致失败的Checkstyle检查。同时，提供了在服务器上提交Flink任务的具体步骤，包括配置Kafka和Zookeeper的连接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　　一、Flink版本
　　
　　flink-1.6.1-bin-hadoop26-scala_2.11
　　
　　二、Flink任务打包
　　
　　笔者将写好的flink计算任务代码发到服务器(ubuntu16.04)，在服务器端进行任务的打包
　　
　　1、将项目工程导入服务器中（mac下）
　　
　　scp -r flink-project root@服务器ip:/wingcloud4/
　　
　　2、将flink源码下的tools文件导入到服务器根目录下
　　
　　读者可以去github自行下载tools文件，在如下位置
　　
　　然后先进入flink-master再执行命令将tools导入到服务器根目录，命令如下
　　
　　scp -r tools root@服务器ip:/
　　
　　3、在服务器下预先装好maven
　　
　　因为笔者flink-project这个文件下多个服务，所以笔者需要将flink计算服务打包
　　
　　4、将flink-project下的flink计算服务进行打包
　　
　　ps：当然，这里读者按照自己的项目来决定即可
　　
　　进入后，执行一下打包命令，因为计算服务中有许多测试代码，maven的checkstyle会检查导致失败，所以加上-Dcheckstyle.skip=true可以跳过此类失败，如果有其他服务(例如公共服务被计算服务使用到的话，记得在公共服务目录下进行 mvn clean install打包下)
　　
　　mvn clean assembly:assembly -Dcheckstyle.skip=true
　　
　　打包完成后，会出现一个有target的目录，打包的的jar会放在里面，进入target目录会有一个后缀是jar-with-dependencies.jar的包
　　
　　ubuntu@VM-0-3-ubuntu:~$ cd /wingcloud4/flink-project/analy/target/
　　
　　ubuntu@VM-0-3-ubuntu:/wingcloud4/flink-proj www.michenggw.com/ ect/analy/target$ ls
　　
　　archive-tmp generated-sources
　　
　　classes maven-archiver
　　
　　dependency-reduced-pom.xml maven-shared-archive-resources
　　
　　analy-1.6.1.jar original-analy-1.6.1.jar
　　
　　analy-1.6.1-jar-with-dependencies.jar test-classes
　　
　　analy-1.6.1-tests.jar
　　
　　将analy-1.6.1-jar-with-dependencies.jar 转移到其他目录下
　　
　　root@VM-0-3-ubuntu:/wingcloud4/flink-project/analy/target# cp analy-1.6.1-jar-with-dependencies.jar /wingcloud4
　　
　　ok，任务打包完成！
　　
　　三、Flink任务提交
　　
　　1、启动flink
　　
　　https://blog.youkuaiyun.com/w_linux/article/details/85036558
　　
　　2、任务提交
　　
　　进入flink的bin下，执行如下命令
　　
　　root@VM-0-3-ubuntu:/usr/ www.mhylpt.com local/flink/bin# ./flink run -c com.example.stream.ProcessData /wingcloud4/analy-1.6.1-jar-with-dependencies.jar -input-topic test7 --bootstrap.servers 服务器ip:9092 --zookeeper.connect 服务器ip:2181 --group.id myconsumer1
　　
　　显示Starting execution of program即任务提交成功
　　
　　解释下提交任务的命令
　　
　　com.example.stream.ProcessData：核心计算程序，在com.example.stream包下，类名是ProcessData
　　
　　/wingcloud4/analy-1.6.1-www.wanmeiyuele.cn jar-with-www.mcyllpt.com/ dependencies.jar：之前任务打包的位置以及名称
　　
　　-input-topic test7 ：kafka的topic是test7
　　
　　--bootstrap.servers 服务器ip:9092 --zookeeper.connect 服务器ip:2181：kafka以及zookeeper的连接配置
　　
　　3、查看任务
　　
　　提交任务后，即可去flink的web界面查看提交的任务，如图显示running