Flink学习（九）-jar 包提交给 flink 集群执行

最新推荐文章于 2025-01-16 14:03:28 发布
原创 最新推荐文章于 2025-01-16 14:03:28 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文介绍了如何通过界面执行Flink作业，包括提交新任务、设置并行度以及在taskManager查看任务；同时也详细说明了在控制台使用flinkrun命令进行WordCountSocketStream作业的执行，并通过webUI监控相关信息。

一、界面执行

1，点击左侧的 submit new job，然后点击add New

2，粘贴程序入口，设置并行度

3，执行后，就可以在 taskManager 中找到相关任务了

二、控制台执行

在命令行中，在flink 的安装目录下，执行

bin/flink run -m node01:8081 -c com.wayne.demo.WordCountSocketStream ./flinkDemo-1.0-SNAPSHOT.jar

执行后，依旧在浏览器的 webUI 中，看相关信息即可

Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）
howard2005的专栏
03-26 2058
创建项目、打包项目、提交到Flink集群运行
【Flink实战系列】Flink如何提交任务到远程的集群
JasonLee实时计算
01-05 7845
Flink可以直接从本地提交任务到远程的集群,这样就不用每次打包上传到集群然后再启动任务,会减少很多时间,下面就来看看具体是怎么实现的? spark在本地提交到远程的yarn集群上可以看这篇文章https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg Flink提供了远程提交的环境createRemoteEnvironment方法, 下面看一下这个方...
【Flink】提交jar包到Flink集群并运行
weixin_65690086的博客
07-19 3868
【Flink】提交jar包到Flink集群并运行
[flink-009]jar包在flink的执行过程
大数据和机器学习研究
08-22 4785
1.执行java包的命令是 ./bin/flink -c MainClassName x.jar 2. bin/flink脚本，启动 类org.apache.flink.client.cli.CliFrontend 执行jar包。该类位于flink/flink-clients/src/main/java/org/apache/flink/client/cli/CliFrontend.java ...
工作实践篇 Flink（一：flink提交jar）
weixin_43446246的博客
12-22 1955
flink 模式 – standalone。
flink命令行提交jar包任务
qq_43699958的博客
09-12 2173
关于如何安装flink，这个写的非常详细，https://blog.youkuaiyun.com/qq_43699958/article/details/132826440在flink的bin目录启动flink cluster。
精选资源
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip
05-27
此外，这种 JAR 文件便于分发和执行，因为用户只需要提交这一个 JAR 到集群，而无需关心内部的依赖关系。 这个特定版本的 Flink Shaded Hadoop Uber JAR 针对的是 Hadoop 2.7.5，这意味着它兼容这个版本的 Hadoop ...
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
05-21
用户可以通过解压这些文件来搭建Flink集群，或者在本地进行开发和测试。 在实际使用中，用户需要根据自身的环境和需求选择合适的Flink版本。如果是新项目，可能会倾向于选择最新版本以获取更多特性；如果是已有项目...
pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0
12-04
标题中的“pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0”表明这是一个关于使用Python（pylink）连接Apache Flink与Kafka资源的Java Archive (JAR) 文件。描述简单地提到了“flink-connector-kafka_...
精选资源
flink1.14.6版本 lib目录依赖jar包
05-25
flink-connector-jdbc_2.12-1.14.6.jar、flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.2.1.jar、mysql-connector-java-5.1.27-bin.jar、flink-dist_2.12-1.14.6.jar、flink-faker-...
精选资源
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **启动与停止**：使用`bin/start-cluster.sh`启动Flink集群，`bin/stop-cluster.sh`停止集群。 5. **运行示例** - **WordCount**：Flink的标准入门示例，统计文本流中的单词出现次数。 - **提交作业**：通过`...
【flink】上传jar并执行
热门推荐
叁滴水 的博客
01-13 1万+
过idea编写flink工程，并且导出可执行jar,上传到flink执行的过程，请大家参考。
DockerDesktop搭建Flink集群：命令行提交jar包
DreamLy1017的博客
03-19 1047
DockerDesktop搭建FLink集群，通过命令行提交jar包
二百八十四、Flink——Flink提交任务两种方式（亲测、附截图）
最新发布
tiantang2renjian的博客
01-16 1468
Flink——Flink提交任务两种方式（亲测、附截图）
在Web UI上提交Flink作业
2301_77257988的博客
02-27 1881
1）任务打包完成后，我们打开Flink的WEB UI页面，在右侧导航栏点击“Submit New Job”，然后点击按钮“+ Add New”，选择要上传运行的JAR包。，任务运行所需的配置参数和保存点路径等，如下图所示，配置完成后，即可点击按钮“Submit”，将任务提交到集群运行。（3）任务提交成功之后，可点击左侧导航栏的“Running Jobs”查看程序运行列表情况。（2）点击该JAR包，出现任务配置页面，进行相应配置。JAR包上传完成，如下图所示。程序入口主类的全类名。
提交flink程序到集群上
weixin_46609492的博客
01-05 4011
这里我演示的是 yarn的cluster模式 首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。 这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的) 执行完上面三步后：项目的下面会出现target文件夹 这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以直接将 较小的jar上传到环境上执行。 如果测试环境上没有程序所需资源jar包，则需要将较大的jar包上传到环境上执行。 两个jar之所以不一样大小，就是一个包含程序所需资源jar包，一个不包含程序所 需资源jar包。
60-008-024-使用-命令-flink如何动态支持依赖jar包提交
九师兄
03-12 1210
1.视界 2.概述 ​ 通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。 ...
Flink源码剖析：Jar包任务提交流程
xingoo
01-19 1116
Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3) 1Flink run 提交Jar包流程分析 首先分析run脚本可以找到入口类CliFrontend，这个类在main方法中解析参数，基于第二个参数定位到run方法: try { // do action ...
Flink应用开发中如何动态提交依赖Jar包
DevEnigma的博客
08-16 813
在 Flink 应用开发中，静态提交依赖Jar包是最常见的方式。这种方式需要将所有的依赖 Jar 包打包到一个包含 Flink 任务代码的 fat-jar 中，然后将 fat-jar 提交给 Flink 集群执行。为了解决上述问题，Flink 提供了动态提交依赖Jar包的方式，即通过 Flink 的 REST API 动态上传和添加 Jar 包。方法用于注册依赖的 Jar 包，它接受两个参数，第一个参数是 Jar 包的路径，可以是本地文件系统路径或者 blob 服务器上的路径，第二个参数是注册的名称。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值