Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）

已于 2024-10-31 18:57:23 修改
阅读量1.9k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： Flink Local Standalone
于 2022-03-26 07:26:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123726230
本文记录了使用Scala创建Flink项目，通过Maven打包，并将jar包提交到Flink Standalone集群的过程。详细介绍了如何设置输入输出参数，并展示了不设置输入参数和同时设置输入输出参数的命令行操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、创建Maven项目 - ScalaWordCount

  • 创建Maven项目 - ScalaWordCount
    在这里插入图片描述

  • 修改pom文件，添加依赖，配置插件
    在这里插入图片描述

<project xmlns="http://maven.apache.org/POM/4.0.0"
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink学习笔记03：将项目打包提交到Flink集群上运行（Java版）
howard2005的专栏
03-24 2754
创建项目、打包项目、提交到Flink集群运行
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
howard2005的专栏
04-20 1582
搭建Flink on Yarn集群，几种方式运行Flink应用
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言
川子的博客
04-21 4558
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言。
Flink：程序打包与提交任务运行
maoyuanming0806的博客
09-02 2784
记录下，同事在自己环境弄，出了一堆问题，搞个wordcount的流计算打包发布搞不通，，，网上资料对于flink版本层次不齐，想想还是记录下个人在1.11.x版本的处理，别在这事上浪费时间 对应节点贴上了官网文档位置，最好的文档就是官方文档 文章目录环境工程运行逻辑代码pom文件依赖打包插件提交到Flink运行UI界面提交命令行提交提交任务保存一个savepoint从savepoint启动 环境 maven V3.6.x Flink 1.11.x JDK 1.8 Scala 2.11.x 2.12.x都.
Flink学习（九）-jar 包提交给 flink 集群执行
最新发布
a80C51的博客
04-25 1244
执行后，依旧在浏览器的 webUI 中，看相关信息即可。在命令行中，在flink 的安装目录下，执行。
Flink 程序编译打包以及发布全流程
weixin_39856336的博客
08-18 1113
启动： 运行 ./start-cluster.sh (注意权限) windows运行 start-cluster.bat。启动成功，访问 对应的8081 看到ui界面即启动成功！将target下生成好的这个放到服务器上运行。首先修改pom （主要针对1.7版本）主类就是main入口，右键复制引用即可。增加build 修改里边的主类。在maven生命周期分别双击。进入目录，进入bin目录。1、flink下载安装。2、flink程序打包。或者上传到界面上运行。
Flink程序打包 maven配置（scala版本）
热门推荐
Mathieu66的博客
10-31 1万+
在IDEA中开发Flink程序时，如果把Flink核心依赖包的scope设置为provided，测试会报NoClassDefFountError，但如果设置为compile，打包时核心包也会被打进去。一来包会很大，二来可能会引发jar包冲突，很不方便。 官方给的建议是使用profile标签，提供可选择的scope范围。 核心包scope值全部设置为provided,其他包缺省，配合profil...
Flink学习笔记02：Flink三种运行模式
howard2005的专栏
03-23 2945
Flink Local 模式、Flink Standalone 模式、Flink on Yarn 模式
a5源码java-flink-maven-scala:flink技术学习笔记分享
06-11
a5源码 java 技术交流 微信:thinktothings 微博: Flink版本为1.7.2 本站持续更新中.......2019-03-13....... 源码 Flink源码分析视频集 ..../flink-maven-scala-2-0.0.1.jar 创建flink java 项目 mvn archetype:g
java Flink（十八）flink 1.10从程序打包到flink安装、服务部署 包含kafka、检查点使用、状态保存、故障状态恢复checkpoint等
qq_40771567的博客
05-11 873
一、检查服务器运行环境*（重要） 运行 vim /etc/profile 查看当前服务器的运行环境 jdk需要大于1.8以上版本（如果没有需要安装jdk） hadoop版本2.7.5 scala版本2.11 二、flink下载 下载我们需要的flink版本https://archive.apache.org/dist/flink/ 我们scala是2.11 下载之后 tar zxvf flink-1.10.0-bin-scala_2.11.tgz进行解压 修改con...
flink源码打包
Andrew_2018的博客
03-09 1058
1.下载 2.打包命令 mvn clean install -Dmaven.test.skip=true-Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true
Flink实践：idea将Flink任务提交到远程flink集群
Yuan_CSDF的博客
06-10 2330
1.idea将Flink任务提交到远程Flink集群 在Flink的StreamExecutionEnvironment.scala中有如下2个方法可以将任务提交到Flink集群： def createRemoteEnvironment(host: String, port: Int, jarFiles: String*):StreamExecutionEnvironment = { new StreamExecutionEnvironment(JavaEnv.createRemoteEnvi
Flink_Scala_pom编译打包文件
cts618
06-14 357
Flink_Scala_pom编译打包文件
springboot-集成flink最佳实践和打包部署
ssehs的博客
11-27 6502
spring-boot集成flink
【Flink】2.在IDEA上完成第一个Flink项目
weixin_44718672的博客
12-07 665
Flink第一个批处理Demo
如何将我们编写的Flink任务打包到集群运行
扛麻袋的少年的博客
02-04 4683
Flink学习笔记(六)：1.准备工作    1.Flink集群环境：如未搭建，此处以standalone模式学习。请参考链接：我是链接    2.Flink开发的任务代码：本文以 实时WordCount 为例。代码部分，请参考以下链接：Flink 编写实时 WordCount 实例    3.因为实时WordCount示例，需要读取...
Flink DataStream 开发打包问题
SmartSi
05-04 740
DataStream 作业开发时往往会遇到一些 jar 包冲突等问题，本文主要讲解作业开发时需要引入哪些依赖以及哪些需要被打包进作业的 jar 中，从而避免不必要的依赖被打入了作业 jar 中以及可能产生的依赖冲突。
Flink集群安装：Flink的scala程序打包和部署运行
あずにゃん梓喵的博客
07-19 2435
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） flink下载 https://archive.apache.org/dist/flink/ flink-flink版本号-bin-scala_版本号.tgz：只能在flink集群执行 flink-flink版本号-bin-hadoop版本号-scala_版本号.tgz：可以打包flink的jar程序到yarn执行 1.安装 flink tar zx.
flink打包运行
cobracanary的博客
04-30 6181
一个简单的flink打包运行的demo 第一步：环境准备 首先你要有个flink运行环境，我这里是使用虚拟机搭建的单机模式，启动flink，在8081端口就可以看见flink UI，在这里就可以进行flink作业的管理： 第二步：flink代码的编写 我使用flink SQL编写的代码，代码很简单，使用SQL读入kafka中一个topic的消息，写入另一个kafka topic中： package com.ms.flinksql; import org.apache.flink.table.api..
Scala与Flink笔记：大数据框架技术实践
本文档是关于大数据领域常用框架技术的学习笔记，重点介绍了Scala语言、Apache Flink流处理框架以及ClickHouse数据库的知识点和企业实践案例。 **Scala技术** Scala是一种多范式的编程语言，设计初衷是要集成面向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值