Flink学习笔记03：将项目打包提交到Flink集群上运行（Java版）

已于 2024-10-31 18:59:29 修改
阅读量2.6k 收藏
点赞数 2
分类专栏： 探索大数据世界 Flink大数据处理学习笔记 文章标签： 项目 打包 Flink集群
于 2022-03-24 21:19:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123699784
版权
本文详细介绍了如何使用Maven创建WordCount项目，打包并提交到Flink集群运行。首先创建Maven项目，配置依赖和插件，然后编写处理类。接着通过mvn命令打包项目，并使用FinalShell将jar包上传到Flink集群主节点。启动Flink Standalone集群后，分别演示了如何不设置输入参数和设置输入输出参数来提交任务，强调了在设置输入参数时不能使用本地文件路径，否则会导致运行错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
如何将我们编写的Flink任务打包到集群运行
扛麻袋的少年的博客
02-04 4675
Flink学习笔记(六)：1.准备工作    1.Flink集群环境：如未搭建，此处以standalone模式学习。请参考链接：我是链接    2.Flink开发的任务代码：本文以 实时WordCount 为例。代码部分，请参考以下链接：Flink 编写实时 WordCount 实例    3.因为实时WordCount示例，需要读取...
Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）
howard2005的专栏
03-26 1878
创建项目、打包项目、提交到Flink集群运行
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言
川子的博客
04-21 4380
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言。
Flink：程序打包与提交任务运行
maoyuanming0806的博客
09-02 2749
记录下，同事在自己环境弄，出了一堆问题，搞个wordcount的流计算打包发布搞不通，，，网上资料对于flink版本层次不齐，想想还是记录下个人在1.11.x版本的处理，别在这事上浪费时间 对应节点贴上了官网文档位置，最好的文档就是官方文档 文章目录环境工程运行逻辑代码pom文件依赖打包插件提交到Flink运行UI界面提交命令行提交提交任务保存一个savepoint从savepoint启动 环境 maven V3.6.x Flink 1.11.x JDK 1.8 Scala 2.11.x 2.12.x都.
Flink学习（九）-jar 包提交给 flink 集群执行
a80C51的博客
04-25 1170
执行后，依旧在浏览器的 webUI 中，看相关信息即可。在命令行中，在flink 的安装目录下，执行。
Flink 程序编译打包以及发布全流程
weixin_39856336的博客
08-18 1049
启动： 运行 ./start-cluster.sh (注意权限) windows运行 start-cluster.bat。启动成功，访问 对应的8081 看到ui界面即启动成功！将target下生成好的这个放到服务器上运行。首先修改pom （主要针对1.7版本）主类就是main入口，右键复制引用即可。增加build 修改里边的主类。在maven生命周期分别双击。进入目录，进入bin目录。1、flink下载安装。2、flink程序打包。或者上传到界面上运行。
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
howard2005的专栏
04-20 1503
搭建Flink on Yarn集群，几种方式运行Flink应用
Flink学习笔记02：Flink三种运行模式
howard2005的专栏
03-23 2876
Flink Local 模式、Flink Standalone 模式、Flink on Yarn 模式
Flink学习笔记
最新发布
2301_76899097的博客
11-10 801
我们公司APP有很多用户，有些人是羊毛党，经常趁我们搞活动，优惠券，代金券的时候，他们就过来薅羊毛（有的人是不正常的，我们写一个系统监控这些人的行为，一旦某些人的行为满足了我定义的风险模型，一旦我发现你在同一个ip上面，间隔很短的时间下，连续不断的点个按钮，我就赶快把你的IP禁掉，你就成我黑名单里的人）来一条数据我攒在我的Flink的肚子里，等到你想要计算，我就给你算（不好，爆内存）我不可能把所有的数据都给你存起来，我可以来一个数据我给你做个累加，来一个做一个累加。）你算的时候，结果立刻给我。
Flink程序打包 maven配置（scala版本）
热门推荐
Mathieu66的博客
10-31 1万+
在IDEA中开发Flink程序时，如果把Flink核心依赖包的scope设置为provided，测试会报NoClassDefFountError，但如果设置为compile，打包时核心包也会被打进去。一来包会很大，二来可能会引发jar包冲突，很不方便。 官方给的建议是使用profile标签，提供可选择的scope范围。 核心包scope值全部设置为provided,其他包缺省，配合profil...
java Flink（十八）flink 1.10从程序打包到flink安装、服务部署 包含kafka、检查点使用、状态保存、故障状态恢复checkpoint等
qq_40771567的博客
05-11 843
一、检查服务器运行环境*（重要） 运行 vim /etc/profile 查看当前服务器的运行环境 jdk需要大于1.8以上版本（如果没有需要安装jdk） hadoop版本2.7.5 scala版本2.11 二、flink下载 下载我们需要的flink版本https://archive.apache.org/dist/flink/ 我们scala是2.11 下载之后 tar zxvf flink-1.10.0-bin-scala_2.11.tgz进行解压 修改con...
flink源码打包
Andrew_2018的博客
03-09 1049
1.下载 2.打包命令 mvn clean install -Dmaven.test.skip=true-Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true
Flink_Scala_pom编译打包文件
cts618
06-14 351
Flink_Scala_pom编译打包文件
springboot-集成flink最佳实践和打包部署
ssehs的博客
11-27 6347
spring-boot集成flink
【Flink】2.在IDEA上完成第一个Flink项目
weixin_44718672的博客
12-07 643
Flink第一个批处理Demo
Flink DataStream 开发打包问题
SmartSi
05-04 703
DataStream 作业开发时往往会遇到一些 jar 包冲突等问题，本文主要讲解作业开发时需要引入哪些依赖以及哪些需要被打包进作业的 jar 中，从而避免不必要的依赖被打入了作业 jar 中以及可能产生的依赖冲突。
Flink集群安装：Flink的scala程序打包和部署运行
あずにゃん梓喵的博客
07-19 2406
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） flink下载 https://archive.apache.org/dist/flink/ flink-flink版本号-bin-scala_版本号.tgz：只能在flink集群执行 flink-flink版本号-bin-hadoop版本号-scala_版本号.tgz：可以打包flink的jar程序到yarn执行 1.安装 flink tar zx.
flink打包运行
cobracanary的博客
04-30 6128
一个简单的flink打包运行的demo 第一步：环境准备 首先你要有个flink运行环境，我这里是使用虚拟机搭建的单机模式，启动flink，在8081端口就可以看见flink UI，在这里就可以进行flink作业的管理： 第二步：flink代码的编写 我使用flink SQL编写的代码，代码很简单，使用SQL读入kafka中一个topic的消息，写入另一个kafka topic中： package com.ms.flinksql; import org.apache.flink.table.api..
Flink 数据分析批处理java代码和scala代码
XGkerwin1的博客
05-29 357
数据流分析批处理
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值